Alfonso Gallardo
Data Engineer
"Tomar decisiones sin datos, es como navegar sin brújula"
Azure Data Engineer AssociateDP-500: Diseño e implementación de soluciones de análisis a escala empresarial mediante Microsoft Azure y Microsoft Power BICertificacion-Fabric-Engineer.pngDatabricks Certified Data Engineer Professional
Alfonso GallardoAlfonso Gallardo
"La calidad del dato es tan importante como el dato"
Data Governance
Datos exactos, consistentes y accesibles

Sobre mi...

Data Engineer: Experto en Big Data en la Nube de Microsoft con Databricks, Python y Azure ☁️

Me apasiona trabajar como Data Engineer especializado en soluciones Big Data en la nube de Microsoft ‍. Con mi amplia experiencia en herramientas como Databricks , Python y Azure, me dedico a desarrollar soluciones escalables y eficientes bajo el framework de Apache Spark .

Mi enfoque principal se centra en la optimización de procesos de extracción, transformación y carga de datos (ETL) para permitir una toma de decisiones informada y basada en datos . Tengo experiencia en el diseño, implementación y mantenimiento de arquitecturas de datos en entornos empresariales, garantizando la integridad, confiabilidad y rendimiento de los flujos de información en entornos de alta demanda .

Mis fortalezas clave incluyen:

 ✔️ Optimización de pipelines de datos para maximizar la eficiencia y el rendimiento.
 ✔️ Diseño e implementación de procesos ETL eficientes utilizando herramientas como Apache Spark y Python.
✔️ Amplio conocimiento en plataformas en la nube, especialmente en Azure, para el despliegue y gestión de arquitecturas de Big Data.
✔️ Experiencia en el uso de servicios como Azure Data Lake Storage, Azure Databricks, Microsoft Fabric y Azure Synapse Analytics.
✔️ Familiaridad con la orquestación y monitorización de pipelines de datos utilizando herramientas como Azure Data Factory.

Me enorgullece haber contribuido a proyectos exitosos , aprovechando mi experiencia en el manejo de grandes volúmenes de datos y la implementación de algoritmos de procesamiento distribuido. También puedes explorar mi perfil en GitHub donde comparto proyectos y colaboraciones relacionadas con Data Engineering.

Si estás buscando un Data Engineer con sólidos conocimientos en soluciones Big Data en la nube y habilidades en herramientas como Databricks, Python y Azure, estoy listo para enfrentar nuevos desafíos y contribuir al éxito de tu organización .

¡Contáctame!

Formaciones Impartidas

PYT

Fundación Empresa

Universidad de Alicanteuniversidad_alicante

Los alumnos recibirán el título “Programa Executive de Python & Databricks” de 30 horas expedido por la Fundación Empresa de la Universidad de Alicante y el DSI – Data Strategy Institute

Bloque 1. Iniciación a Python

▪ Variables y Tipos de Datos
▪ Operadores Aritméticos
▪ Cadenas de Texto
▪ Entrada por Teclado y Salida por Pantalla
▪ Booleanos
▪ Condicionales
▪ Estructura de datos (Listas, Tuplas y Diccionarios)
▪ Bucles
▪ Funciones
▪ Manejo de Errores
▪ PEP8 en Python
▪ Ejercicio 1 Python

Bloque 2. Python & PySpark

▪ Introducción al Big Data
▪ Procesamiento en Batch o Streaming
▪ Instalación Anaconda, Visual Studio Code y Pyspark
▪ Crear notebook en Jupyter
▪ RDDs acciones y transformaciones
▪ Dataframes
▪ Pandas, numpy y matplotlib
▪ Ejercicio 2 Dataframe

Bloque 3. PySpark & Databricks

▪ Introducción Azure Data Lake Gen 2
▪ Conectar Azure Data Lake a Databricks
▪ Azure Key Vault y Secret
▪ Lectura y escritura de archivos en Data Lake Gen 2
▪ Archivos JSON
▪ Ejercicio 4 Dataframe JSON

Bloque 4. Databricks & Azure

▪ Introducción Azure Data Lake Gen 2
▪ Conectar Azure Data Lake a Databricks
▪ Azure Key Vault y Secret
▪ Lectura y escritura de archivos en Data Lake Gen 2
▪ Archivos JSON
▪ Ejercicio 4 Dataframe JSON

Bloque 5. Databricks & API REST

▪ Introducción a las APIS REST
▪ Obtener datos de una API REST
▪ Tratar los datos obtenidos
▪ Validaciones datos recibidos
▪ Devolver los datos
▪ Gestionar errores
▪ Delta Tables
▪ Cargas Incrementales (CDC)
▪ Funciones UDF
▪ Ejercicio 5 Delta Tables

Bloque 6. Databricks & Power BI

▪ Conexión databricks a Power Bi
▪ Databricks Dashboard
▪ Cluster en Databricks
▪ Workflow en Databricks
▪ Databricks widget
▪ Particiones de Dataframe
▪ Autoloaders
▪ Databricks Utilidades
▪ Optimización de Notebooks
▪ Jobs en Databricks
▪ Spark UI
▪ Certificaciones Databricks
▪ Ejercicio 6 Proyecto final

Experiencia

Data Engineer

Avanade
2023-Actualmente

Desarrollando diferentes trabajos para distintas empresas multinacionales

Herramientas:

  •  Azure Databricks (Python & Spark 3.5, Runtime 14.3 LTS)
  • Azure Datafactory
  • Microsoft Fabric
  • Azure DevOps
  • Azure Synapse Analytics (SQL POOL, SPARK) (serverless & dedicated)
  • Postman API REST
  • Azure Stream Analytics
  • Azure HDInsight
  • Azure SQL Database
  • Azure Data Lake Storage Gen2  (parquet & Delta)

Responsabilidades:

  • Desarrollo notebooks en Databricks
  • Crear nuevas canalizaciones o pipeline.
  • Optimización de procesos Batch.
  • Data Quality 
  • Optimización código en Python
  • Resolución de incidencias
  • Reporting

Soft Skills

  • Trabajo en equipo.
  • Gestión del tiempo.
  • Habilidades de comunicación.
  • Toma de decisiones y resolución de conflictos.
  • Capacidad de negociación.

Cloud Consultant

kabel

Kabel
2022-2023

Desarrollo de ELT, canalizaciones, API REST con herramientas de Microsoft Azure (databricks,synapse analytics,data factory) con Apache Spark y Python.

Herramientas:

  •  Azure Databricks (Python & Spark 3.2)
  • Azure Datafactory
  • Azure DevOps
  • Azure Synapse Analytics (SQL POOL, SPARK) (serverless & dedicated)
  • Postman API REST
  • Azure Stream Analytics
  • Azure HDInsight
  • Azure SQL Database
  • Azure Data Lake Storage Gen2 and CosmosDB (parquet & Delta)
  • Power Bi Services and desktop (dataflow, star schema)

Responsabilidades:

  • Desarrollo notebooks en Databricks
  • Crear nuevas canalizaciones o pipeline.
  • Optimización de procesos Batch.
  • Data Quality 
  • Optimización código en Python
  • Resolución de incidencias
  • Reporting

Soft Skills

  • Trabajo en equipo.
  • Gestión del tiempo.
  • Habilidades de comunicación.
  • Toma de decisiones y resolución de conflictos.
  • Capacidad de negociación.

Cloud Big Data Engineer

AtSistemas

AtSistemas
2021-2022

Creando nuevas canalizaciones y transformando datos con herramientas de Microsoft Azure (databricks,synapse analytics,data factory) con Apache Spark y Python.

Herramientas:

  •  Azure Databricks (Python & Spark 3.0)
  • Azure Datafactory
  • Azure DevOps
  • Azure Synapse Analytics (SQL POOL, SPARK) (serverless & dedicated)
  • Azure Event & Hub
  • Azure Stream Analytics
  • Azure HDInsight
  • Azure SQL Database
  • Azure Data Lake Storage Gen2 and CosmosDB (parquet & Delta)
  • Power Bi Services and desktop (dataflow, star schema)

Responsabilidades:

  • Desarrollo notebooks en Databricks
  • Crear nuevas canalizaciones o pipeline.
  • Optimización de procesos Batch.
  • Data Quality 
  • Optimización código en Python
  • Resolución de incidencias
  • Reporting

Soft Skills

  • Trabajo en equipo.
  • Gestión del tiempo.
  • Habilidades de comunicación.
  • Toma de decisiones y resolución de conflictos.
  • Capacidad de negociación.

Data Engineer

Avanade
2020-2021

Desarrollando diferentes trabajos para distintas empresas multinacionales. 

Herramientas:

  • Visual Studio 2019 (SSIS, SSAS, SSRS).
  • SQL Server Management Studio (SSMS)
  • Power BI Desktop y on Premium.
  • Azure Data Studio
  • Anaconda (Jupyter, Spyder, Orange 3.0)
  • Visual Studio Code
  • PyCharm
  • Power Designer
  • ApexSQL solutions (Redgate)
  • Cloud Azure services (datafactory, SQL Instance Pool, MongoDB, Cassandra, Key-value)

Responsabilidades:

  • Creación y mantenimiento de Data warehouse, Datamart, load data, reporting.
  • Desarrollo y mantenimiento de procesos ETL (Cloud y on Premise).
  • Optimización de procesos Batch.
  • Cubos Multidimensionales y Tabulares.
  • Data Sources, Data Sources Views, Create Dimensions, Roles, Measures, KPI, MDX querys.
  • SQL Procedure, views, database optimization
  • Creación notebook en databricks.

Soft Skills

  • Trabajo en equipo.
  • Gestión del tiempo.
  • Habilidades de comunicación.
  • Toma de decisiones y resolución de conflictos.
  • Capacidad de negociación.

Data Analytics

Opplus
2014-2020

Manipular datos creando conocimiento de vital importancia para la empresa en la toma de decisiones, extrayendo-transformando-cargado los mismos para generar dashboard y cuadros de mandos.

Herramientas:

  • Visual Studio 2019 (SSIS, SSAS, SSRS).
  • SQL Server Management Studio (SSMS)
  • Power BI Desktop y on Premium.

Responsabilidades:

  • Reporting a la dirección.
  • Calidad del dato.
  • Desarrollo ETL y automatizaciones.

Soft Skills

  • Trabajo en equipo.
  • Gestión del tiempo.
  • Habilidades de comunicación.
  • Toma de decisiones y resolución de conflictos.
  • Capacidad de negociación.

Full Stack Web and Data Analytics

Cuenta Propia
2013-2014

Desarrollo de páginas web para clientes finales de ámbitos diversos, análisis de datos, posicionamiento (SEO y SEM), patrones de comportamiento de usuario web

Herramientas:

  • Dreamweaver.
  • WordPress, Joomla, Prestashop.
  • Visual Studio (SSIS y SASS).
  • SQL Server Management Studio (SSMS).
  • HTML5, Bootstrap y CSS3
  • PHP (Ruby)

Responsabilidades:

  • Desarrollo back y front end.
  • Mantenimiento site.
  • Reporting

Soft Skills

  • Trabajo en equipo.
  • Gestión del tiempo.
  • Habilidades de comunicación.
  • Toma de decisiones y resolución de conflictos.
  • Capacidad de negociación.

Técnico de Datos

Gesitel
2012-2013

Responsable del departamento de datos

Herramientas:

  • MySQL.
  • Visual Studio (SSIS y SASS).
  • SQL Server Management Studio (SSMS).
  • HTML5, Bootstrap y CSS3
  • Google Analytics y Adsense.

Responsabilidades:

  • Diseño y matenimiento base de datos.
  • Creación de reporting con SSRS.
  • Métricas y KPIs del sitio web.

Soft Skills

  • Trabajo en equipo.
  • Gestión del tiempo.
  • Habilidades de comunicación.
  • Toma de decisiones y resolución de conflictos.
  • Capacidad de negociación.

Programador Software

Undecor
2011-2012

Diseño de base datos y gestión de informes ad-hoc. Mantenimiento junto con el equipo de desarrollo web del front end.

Herramientas:

  • Dreamweaver.
  • MySQL.
  • Visual Studio (SSIS y SASS).
  • SQL Server Management Studio (SSMS).
  • HTML5, Bootstrap y CSS3
  • Google Analytics y Adsense.

Responsabilidades:

  • Diseño y matenimiento base de datos.
  • Creación de reporting con SSRS.
  • Métricas y KPIs del sitio web.

Soft Skills

  • Trabajo en equipo.
  • Gestión del tiempo.
  • Habilidades de comunicación.
  • Toma de decisiones y resolución de conflictos.
  • Capacidad de negociación.

Técnico Informático

ONG Paz y Desarrollo
2009-2010

Mantenimiento y gestión de la base de datos, así como labores de colaboración en el desarrollo web.

Herramientas:

  • Dreamweaver.
  • MySQL.
  • Visual Studio (SSIS y SASS).
  • SQL Server Management Studio (SSMS).
  • HTML5, Bootstrap y CSS3
  • Google Analytics y Adsense.

Responsabilidades:

  • Diseño y matenimiento base de datos.
  • Creación de reporting con SSRS.
  • Métricas y KPIs del sitio web.

Soft Skills

  • Trabajo en equipo.
  • Gestión del tiempo.
  • Habilidades de comunicación.
  • Toma de decisiones y resolución de conflictos.
  • Capacidad de negociación.

Educación

Databricks Certified Data Engineer Professional

Databricks Certified Data Engineer Professional

 
 

Certificación oficial de Databricks  como Data Engineer Professional

Certificacion-Fabric-Engineer.png

Fabric Analytics Engineer Associate

Certificación oficial de Microsoft como Fabric Analytics Engineer Associate

Azure Data Engineer Associate

Azure Data Engineer Associate

Certificación oficial de Microsoft como Data Engineer en Azure.

Data Engineer

Databricks Certified Data Engineer Associate

Certificación oficial Databricks como Data Engineer Associate

DP-500: Diseño e implementación de soluciones de análisis a escala empresarial mediante Microsoft Azure y Microsoft Power BI

Designing and Implementing Enterprise-Scale Analytics Solutions

Programación con certificado profesional de Python

Programación con certificado profesional de Python

Tecnologías

Databricks

Transformación automatizada de datos con Databricks usando PySpark.

Microsoft Fabric

Microsoft Fabric

Plataforma integrada de Microsoft que incluye todos los servicios necesarios.

Python

Python

El lenguaje de programación por excelencia para la manipulación de los datos.

Azure Synapse Analytics

Servicio de análisis ilimitado que reúne la integración de datos, el almacenamiento de datos empresariales y el análisis de macrodatos

Apache Spark

Apache Spark

Framework para la gestión de datos distribuidos en paralelo.

Delta Lake

Delta Lake

Lago de datos con ficheros Delta

Formación Complementaria

  • Programación con certificado profesional de Python
  • Implement a Lakehouse with Microsoft Fabric
  • Delta Lake with Azure Databricks: Deep Dive