Sobre mi...
Data Engineer: Experto en Big Data en la Nube de Microsoft con Databricks, Python y Azure ☁️
Me apasiona trabajar como Data Engineer especializado en soluciones Big Data en la nube de Microsoft . Con mi amplia experiencia en herramientas como Databricks , Python y Azure, me dedico a desarrollar soluciones escalables y eficientes bajo el framework de Apache Spark .
Mi enfoque principal se centra en la optimización de procesos de extracción, transformación y carga de datos (ETL) para permitir una toma de decisiones informada y basada en datos . Tengo experiencia en el diseño, implementación y mantenimiento de arquitecturas de datos en entornos empresariales, garantizando la integridad, confiabilidad y rendimiento de los flujos de información en entornos de alta demanda .
Mis fortalezas clave incluyen:
✔️ Optimización de pipelines de datos para maximizar la eficiencia y el rendimiento.
✔️ Diseño e implementación de procesos ETL eficientes utilizando herramientas como Apache Spark y Python.
✔️ Amplio conocimiento en plataformas en la nube, especialmente en Azure, para el despliegue y gestión de arquitecturas de Big Data.
✔️ Experiencia en el uso de servicios como Azure Data Lake Storage, Azure Databricks, Microsoft Fabric y Azure Synapse Analytics.
✔️ Familiaridad con la orquestación y monitorización de pipelines de datos utilizando herramientas como Azure Data Factory.
Me enorgullece haber contribuido a proyectos exitosos , aprovechando mi experiencia en el manejo de grandes volúmenes de datos y la implementación de algoritmos de procesamiento distribuido. También puedes explorar mi perfil en GitHub donde comparto proyectos y colaboraciones relacionadas con Data Engineering.
Si estás buscando un Data Engineer con sólidos conocimientos en soluciones Big Data en la nube y habilidades en herramientas como Databricks, Python y Azure, estoy listo para enfrentar nuevos desafíos y contribuir al éxito de tu organización .
¡Contáctame!
Formaciones Impartidas
Los alumnos recibirán el título “Programa Executive de Python & Databricks” de 30 horas expedido por la Fundación Empresa de la Universidad de Alicante y el DSI – Data Strategy Institute
Bloque 1. Iniciación a Python
Variables y Tipos de Datos
Operadores Aritméticos
Cadenas de Texto
Entrada por Teclado y Salida por Pantalla
Booleanos
Condicionales
Estructura de datos (Listas, Tuplas y Diccionarios)
Bucles
Funciones
Manejo de Errores
PEP8 en Python
Ejercicio 1 Python
Bloque 2. Python & PySpark
Introducción al Big Data
Procesamiento en Batch o Streaming
Instalación Anaconda, Visual Studio Code y Pyspark
Crear notebook en Jupyter
RDDs acciones y transformaciones
Dataframes
Pandas, numpy y matplotlib
Ejercicio 2 Dataframe
Bloque 3. PySpark & Databricks
Introducción Azure Data Lake Gen 2
Conectar Azure Data Lake a Databricks
Azure Key Vault y Secret
Lectura y escritura de archivos en Data Lake Gen 2
Archivos JSON
Ejercicio 4 Dataframe JSON
Bloque 4. Databricks & Azure
Introducción Azure Data Lake Gen 2
Conectar Azure Data Lake a Databricks
Azure Key Vault y Secret
Lectura y escritura de archivos en Data Lake Gen 2
Archivos JSON
Ejercicio 4 Dataframe JSON
Bloque 5. Databricks & API REST
Introducción a las APIS REST
Obtener datos de una API REST
Tratar los datos obtenidos
Validaciones datos recibidos
Devolver los datos
Gestionar errores
Delta Tables
Cargas Incrementales (CDC)
Funciones UDF
Ejercicio 5 Delta Tables
Bloque 6. Databricks & Power BI
Conexión databricks a Power Bi
Databricks Dashboard
Cluster en Databricks
Workflow en Databricks
Databricks widget
Particiones de Dataframe
Autoloaders
Databricks Utilidades
Optimización de Notebooks
Jobs en Databricks
Spark UI
Certificaciones Databricks
Ejercicio 6 Proyecto final
Experiencia
Herramientas:
- Azure Databricks (Python & Spark 3.5, Runtime 14.3 LTS)
- Azure Datafactory
- Microsoft Fabric
- Azure DevOps
- Azure Synapse Analytics (SQL POOL, SPARK) (serverless & dedicated)
- Postman API REST
- Azure Stream Analytics
- Azure HDInsight
- Azure SQL Database
- Azure Data Lake Storage Gen2 (parquet & Delta)
Responsabilidades:
- Desarrollo notebooks en Databricks
- Crear nuevas canalizaciones o pipeline.
- Optimización de procesos Batch.
- Data Quality
- Optimización código en Python
- Resolución de incidencias
- Reporting
Soft Skills
- Trabajo en equipo.
- Gestión del tiempo.
- Habilidades de comunicación.
- Toma de decisiones y resolución de conflictos.
- Capacidad de negociación.
Herramientas:
- Azure Databricks (Python & Spark 3.2)
- Azure Datafactory
- Azure DevOps
- Azure Synapse Analytics (SQL POOL, SPARK) (serverless & dedicated)
- Postman API REST
- Azure Stream Analytics
- Azure HDInsight
- Azure SQL Database
- Azure Data Lake Storage Gen2 and CosmosDB (parquet & Delta)
- Power Bi Services and desktop (dataflow, star schema)
Responsabilidades:
- Desarrollo notebooks en Databricks
- Crear nuevas canalizaciones o pipeline.
- Optimización de procesos Batch.
- Data Quality
- Optimización código en Python
- Resolución de incidencias
- Reporting
Soft Skills
- Trabajo en equipo.
- Gestión del tiempo.
- Habilidades de comunicación.
- Toma de decisiones y resolución de conflictos.
- Capacidad de negociación.
Herramientas:
- Azure Databricks (Python & Spark 3.0)
- Azure Datafactory
- Azure DevOps
- Azure Synapse Analytics (SQL POOL, SPARK) (serverless & dedicated)
- Azure Event & Hub
- Azure Stream Analytics
- Azure HDInsight
- Azure SQL Database
- Azure Data Lake Storage Gen2 and CosmosDB (parquet & Delta)
- Power Bi Services and desktop (dataflow, star schema)
Responsabilidades:
- Desarrollo notebooks en Databricks
- Crear nuevas canalizaciones o pipeline.
- Optimización de procesos Batch.
- Data Quality
- Optimización código en Python
- Resolución de incidencias
- Reporting
Soft Skills
- Trabajo en equipo.
- Gestión del tiempo.
- Habilidades de comunicación.
- Toma de decisiones y resolución de conflictos.
- Capacidad de negociación.
Herramientas:
- Visual Studio 2019 (SSIS, SSAS, SSRS).
- SQL Server Management Studio (SSMS)
- Power BI Desktop y on Premium.
- Azure Data Studio
- Anaconda (Jupyter, Spyder, Orange 3.0)
- Visual Studio Code
- PyCharm
- Power Designer
- ApexSQL solutions (Redgate)
- Cloud Azure services (datafactory, SQL Instance Pool, MongoDB, Cassandra, Key-value)
Responsabilidades:
- Creación y mantenimiento de Data warehouse, Datamart, load data, reporting.
- Desarrollo y mantenimiento de procesos ETL (Cloud y on Premise).
- Optimización de procesos Batch.
- Cubos Multidimensionales y Tabulares.
- Data Sources, Data Sources Views, Create Dimensions, Roles, Measures, KPI, MDX querys.
- SQL Procedure, views, database optimization
- Creación notebook en databricks.
Soft Skills
- Trabajo en equipo.
- Gestión del tiempo.
- Habilidades de comunicación.
- Toma de decisiones y resolución de conflictos.
- Capacidad de negociación.
Herramientas:
- Visual Studio 2019 (SSIS, SSAS, SSRS).
- SQL Server Management Studio (SSMS)
- Power BI Desktop y on Premium.
Responsabilidades:
- Reporting a la dirección.
- Calidad del dato.
- Desarrollo ETL y automatizaciones.
Soft Skills
- Trabajo en equipo.
- Gestión del tiempo.
- Habilidades de comunicación.
- Toma de decisiones y resolución de conflictos.
- Capacidad de negociación.
Full Stack Web and Data Analytics
Cuenta Propia
2013-2014
Desarrollo de páginas web para clientes finales de ámbitos diversos, análisis de datos, posicionamiento (SEO y SEM), patrones de comportamiento de usuario web
Herramientas:
- Dreamweaver.
- WordPress, Joomla, Prestashop.
- Visual Studio (SSIS y SASS).
- SQL Server Management Studio (SSMS).
- HTML5, Bootstrap y CSS3
- PHP (Ruby)
Responsabilidades:
- Desarrollo back y front end.
- Mantenimiento site.
- Reporting
Soft Skills
- Trabajo en equipo.
- Gestión del tiempo.
- Habilidades de comunicación.
- Toma de decisiones y resolución de conflictos.
- Capacidad de negociación.
Técnico de Datos
Gesitel
2012-2013
Responsable del departamento de datos
Herramientas:
- MySQL.
- Visual Studio (SSIS y SASS).
- SQL Server Management Studio (SSMS).
- HTML5, Bootstrap y CSS3
- Google Analytics y Adsense.
Responsabilidades:
- Diseño y matenimiento base de datos.
- Creación de reporting con SSRS.
- Métricas y KPIs del sitio web.
Soft Skills
- Trabajo en equipo.
- Gestión del tiempo.
- Habilidades de comunicación.
- Toma de decisiones y resolución de conflictos.
- Capacidad de negociación.
Herramientas:
- Dreamweaver.
- MySQL.
- Visual Studio (SSIS y SASS).
- SQL Server Management Studio (SSMS).
- HTML5, Bootstrap y CSS3
- Google Analytics y Adsense.
Responsabilidades:
- Diseño y matenimiento base de datos.
- Creación de reporting con SSRS.
- Métricas y KPIs del sitio web.
Soft Skills
- Trabajo en equipo.
- Gestión del tiempo.
- Habilidades de comunicación.
- Toma de decisiones y resolución de conflictos.
- Capacidad de negociación.
Herramientas:
- Dreamweaver.
- MySQL.
- Visual Studio (SSIS y SASS).
- SQL Server Management Studio (SSMS).
- HTML5, Bootstrap y CSS3
- Google Analytics y Adsense.
Responsabilidades:
- Diseño y matenimiento base de datos.
- Creación de reporting con SSRS.
- Métricas y KPIs del sitio web.
Soft Skills
- Trabajo en equipo.
- Gestión del tiempo.
- Habilidades de comunicación.
- Toma de decisiones y resolución de conflictos.
- Capacidad de negociación.
Educación
Databricks Certified Data Engineer Professional
Databricks Certified: Data Engineer Professional
Fabric Analytics Engineer Associate
Microsoft Certified: Fabric Analytics Engineer Associate
Designing and Implementing Enterprise-Scale Analytics Solutions
Programación con certificado profesional de Python
Databricks Data Engineer Associate
Certificación Databricks Data Engineer Associate
Azure Data Engineer Associate
Databricks Platform Administrator
Databricks Lakehouse Fundamentals
Azure Data Fundamentals
Master Big data
Técnico Informático
B1
Community Manager
Ciencias Empresariales
Databricks Certified Data Engineer Professional
Fabric Analytics Engineer Associate
Certificación oficial de Microsoft como Fabric Analytics Engineer Associate
Azure Data Engineer Associate
Certificación oficial de Microsoft como Data Engineer en Azure.
Databricks Certified Data Engineer Associate
Certificación oficial Databricks como Data Engineer Associate
Designing and Implementing Enterprise-Scale Analytics Solutions
Certificación oficial Databricks como Designing and Implementing Enterprise-Scale Analytics Solutions Using Microsoft Azure and Microsoft Power BIData Engineer Associate
Programación con certificado profesional de Python
Certificación oficial Programación profesional de Python
Tecnologías
Databricks
Transformación automatizada de datos con Databricks usando PySpark.
Microsoft Fabric
Plataforma integrada de Microsoft que incluye todos los servicios necesarios.
Python
El lenguaje de programación por excelencia para la manipulación de los datos.
Azure Synapse Analytics
Servicio de análisis ilimitado que reúne la integración de datos, el almacenamiento de datos empresariales y el análisis de macrodatos
Apache Spark
Framework para la gestión de datos distribuidos en paralelo.
Delta Lake
Lago de datos con ficheros Delta