Sobre mi...
Como Data Engineer especializado en soluciones Big Data en la nube de Microsoft, me apasiona trabajar con herramientas como Databricks, Python y Azure. Mi enfoque principal se centra en el desarrollo de soluciones escalables y eficientes bajo el framework de Apache Spark. Con experiencia en el diseño, implementación y mantenimiento de arquitecturas de datos en entornos empresariales, mi objetivo es optimizar los procesos de extracción, transformación y carga de datos para permitir una toma de decisiones informada y basada en datos.
Mis fortalezas clave incluyen la optimización de pipelines de datos, garantizando la integridad, confiabilidad y rendimiento de los flujos de información en entornos de alta demanda. Tengo experiencia en el diseño e implementación de procesos de extracción, transformación y carga (ETL) eficientes, utilizando herramientas como Apache Spark para el procesamiento distribuido y Python para la programación de scripts y automatización.
Además, cuento con amplios conocimientos en el uso de plataformas en la nube, especialmente en Azure, para el despliegue y gestión de arquitecturas de Big Data. Mi experiencia abarca el uso de servicios como Azure Data Lake Storage, Azure Databricks y Azure Synapse Analytics, entre otros. Estoy familiarizado con la orquestación y monitorización de pipelines de datos utilizando herramientas como Azure Data Factory.
Me enorgullece haber contribuido a proyectos exitosos, aprovechando mi experiencia en el manejo de grandes volúmenes de datos y la implementación de algoritmos de procesamiento distribuido. También puedes explorar mi perfil en GitHub donde comparto proyectos y colaboraciones relacionadas con Data Engineering.
Si estás buscando un Data Engineer con sólidos conocimientos en soluciones Big Data en la nube y habilidades en herramientas como Databricks, Python y Azure, estoy listo para enfrentar nuevos desafíos y contribuir al éxito de tu organización.
Formaciones Impartidas
Los alumnos recibirán el título “Programa Executive de Python & Databricks” de 30 horas expedido por la Fundación Empresa de la Universidad de Alicante y el DSI – Data Strategy Institute
Bloque 1. Iniciación a Python
Variables y Tipos de Datos Operadores Aritméticos Cadenas de Texto Entrada por Teclado y Salida por Pantalla Booleanos Condicionales Estructura de datos (Listas, Tuplas y Diccionarios) Bucles Funciones Manejo de Errores PEP8 en Python Ejercicio 1 Python
Bloque 2. Python & PySpark
Introducción al Big Data Procesamiento en Batch o Streaming Instalación Anaconda, Visual Studio Code y Pyspark Crear notebook en Jupyter RDDs acciones y transformaciones Dataframes Pandas, numpy y matplotlib Ejercicio 2 Dataframe
Bloque 3. PySpark & Databricks
Introducción Azure Data Lake Gen 2 Conectar Azure Data Lake a Databricks Azure Key Vault y Secret Lectura y escritura de archivos en Data Lake Gen 2 Archivos JSON Ejercicio 4 Dataframe JSON
Bloque 4. Databricks & Azure
Introducción Azure Data Lake Gen 2 Conectar Azure Data Lake a Databricks Azure Key Vault y Secret Lectura y escritura de archivos en Data Lake Gen 2 Archivos JSON Ejercicio 4 Dataframe JSON
Bloque 5. Databricks & API REST
Introducción a las APIS REST Obtener datos de una API REST Tratar los datos obtenidos Validaciones datos recibidos Devolver los datos Gestionar errores Delta Tables Cargas Incrementales (CDC) Funciones UDF Ejercicio 5 Delta Tables
Bloque 6. Databricks & Power BI
Conexión databricks a Power Bi Databricks Dashboard Cluster en Databricks Workflow en Databricks Databricks widget Particiones de Dataframe Autoloaders Databricks Utilidades Optimización de Notebooks Jobs en Databricks Spark UI Certificaciones Databricks Ejercicio 6 Proyecto final
Experiencia
Data Engineer
Avanade
2023-Actualmente
Desarrollando diferentes trabajos para distintas empresas multinacionales
Herramientas:
- Azure Databricks (Python & Spark 3.2)
- Azure Datafactory
- Azure DevOps
- Azure Synapse Analytics (SQL POOL, SPARK) (serverless & dedicated)
- Postman API REST
- Azure Stream Analytics
- Azure HDInsight
- Azure SQL Database
- Azure Data Lake Storage Gen2 (parquet & Delta)
Responsabilidades:
- Desarrollo notebooks en Databricks
- Crear nuevas canalizaciones o pipeline.
- Optimización de procesos Batch.
- Data Quality
- Optimización código en Python
- Resolución de incidencias
- Reporting
Soft Skills
- Trabajo en equipo.
- Gestión del tiempo.
- Habilidades de comunicación.
- Toma de decisiones y resolución de conflictos.
- Capacidad de negociación.
Cloud Consultant
Kabel
2022-2023
Desarrollo de ELT, canalizaciones, API REST con herramientas de Microsoft Azure (databricks,synapse analytics,data factory) con Apache Spark y Python.
Herramientas:
- Azure Databricks (Python & Spark 3.2)
- Azure Datafactory
- Azure DevOps
- Azure Synapse Analytics (SQL POOL, SPARK) (serverless & dedicated)
- Postman API REST
- Azure Stream Analytics
- Azure HDInsight
- Azure SQL Database
- Azure Data Lake Storage Gen2 and CosmosDB (parquet & Delta)
- Power Bi Services and desktop (dataflow, star schema)
Responsabilidades:
- Desarrollo notebooks en Databricks
- Crear nuevas canalizaciones o pipeline.
- Optimización de procesos Batch.
- Data Quality
- Optimización código en Python
- Resolución de incidencias
- Reporting
Soft Skills
- Trabajo en equipo.
- Gestión del tiempo.
- Habilidades de comunicación.
- Toma de decisiones y resolución de conflictos.
- Capacidad de negociación.
Cloud Big Data Engineer
AtSistemas
2021-2022
Creando nuevas canalizaciones y transformando datos con herramientas de Microsoft Azure (databricks,synapse analytics,data factory) con Apache Spark y Python.
Herramientas:
- Azure Databricks (Python & Spark 3.0)
- Azure Datafactory
- Azure DevOps
- Azure Synapse Analytics (SQL POOL, SPARK) (serverless & dedicated)
- Azure Event & Hub
- Azure Stream Analytics
- Azure HDInsight
- Azure SQL Database
- Azure Data Lake Storage Gen2 and CosmosDB (parquet & Delta)
- Power Bi Services and desktop (dataflow, star schema)
Responsabilidades:
- Desarrollo notebooks en Databricks
- Crear nuevas canalizaciones o pipeline.
- Optimización de procesos Batch.
- Data Quality
- Optimización código en Python
- Resolución de incidencias
- Reporting
Soft Skills
- Trabajo en equipo.
- Gestión del tiempo.
- Habilidades de comunicación.
- Toma de decisiones y resolución de conflictos.
- Capacidad de negociación.
Data Engineer
Avanade
2020-2021
Desarrollando diferentes trabajos para distintas empresas multinacionales.
Herramientas:
- Visual Studio 2019 (SSIS, SSAS, SSRS).
- SQL Server Management Studio (SSMS)
- Power BI Desktop y on Premium.
- Azure Data Studio
- Anaconda (Jupyter, Spyder, Orange 3.0)
- Visual Studio Code
- PyCharm
- Power Designer
- ApexSQL solutions (Redgate)
- Cloud Azure services (datafactory, SQL Instance Pool, MongoDB, Cassandra, Key-value)
Responsabilidades:
- Creación y mantenimiento de Data warehouse, Datamart, load data, reporting.
- Desarrollo y mantenimiento de procesos ETL (Cloud y on Premise).
- Optimización de procesos Batch.
- Cubos Multidimensionales y Tabulares.
- Data Sources, Data Sources Views, Create Dimensions, Roles, Measures, KPI, MDX querys.
- SQL Procedure, views, database optimization
- Creación notebook en databricks.
Soft Skills
- Trabajo en equipo.
- Gestión del tiempo.
- Habilidades de comunicación.
- Toma de decisiones y resolución de conflictos.
- Capacidad de negociación.
Data Analytics
Opplus
2014-2020
Manipular datos creando conocimiento de vital importancia para la empresa en la toma de decisiones, extrayendo-transformando-cargado los mismos para generar dashboard y cuadros de mandos.
Herramientas:
- Visual Studio 2019 (SSIS, SSAS, SSRS).
- SQL Server Management Studio (SSMS)
- Power BI Desktop y on Premium.
Responsabilidades:
- Reporting a la dirección.
- Calidad del dato.
- Desarrollo ETL y automatizaciones.
Soft Skills
- Trabajo en equipo.
- Gestión del tiempo.
- Habilidades de comunicación.
- Toma de decisiones y resolución de conflictos.
- Capacidad de negociación.
Full Stack Web and Data Analytics
Cuenta Propia
2013-2014
Desarrollo de páginas web para clientes finales de ámbitos diversos, análisis de datos, posicionamiento (SEO y SEM), patrones de comportamiento de usuario web
Herramientas:
- Dreamweaver.
- WordPress, Joomla, Prestashop.
- Visual Studio (SSIS y SASS).
- SQL Server Management Studio (SSMS).
- HTML5, Bootstrap y CSS3
- PHP (Ruby)
Responsabilidades:
- Desarrollo back y front end.
- Mantenimiento site.
- Reporting
Soft Skills
- Trabajo en equipo.
- Gestión del tiempo.
- Habilidades de comunicación.
- Toma de decisiones y resolución de conflictos.
- Capacidad de negociación.
Técnico de Datos
Gesitel
2012-2013
Responsable del departamento de datos
Herramientas:
- MySQL.
- Visual Studio (SSIS y SASS).
- SQL Server Management Studio (SSMS).
- HTML5, Bootstrap y CSS3
- Google Analytics y Adsense.
Responsabilidades:
- Diseño y matenimiento base de datos.
- Creación de reporting con SSRS.
- Métricas y KPIs del sitio web.
Soft Skills
- Trabajo en equipo.
- Gestión del tiempo.
- Habilidades de comunicación.
- Toma de decisiones y resolución de conflictos.
- Capacidad de negociación.
Programador Software
Undecor
2011-2012
Diseño de base datos y gestión de informes ad-hoc. Mantenimiento junto con el equipo de desarrollo web del front end.
Herramientas:
- Dreamweaver.
- MySQL.
- Visual Studio (SSIS y SASS).
- SQL Server Management Studio (SSMS).
- HTML5, Bootstrap y CSS3
- Google Analytics y Adsense.
Responsabilidades:
- Diseño y matenimiento base de datos.
- Creación de reporting con SSRS.
- Métricas y KPIs del sitio web.
Soft Skills
- Trabajo en equipo.
- Gestión del tiempo.
- Habilidades de comunicación.
- Toma de decisiones y resolución de conflictos.
- Capacidad de negociación.
Técnico Informático
ONG Paz y Desarrollo
2009-2010
Mantenimiento y gestión de la base de datos, así como labores de colaboración en el desarrollo web.
Herramientas:
- Dreamweaver.
- MySQL.
- Visual Studio (SSIS y SASS).
- SQL Server Management Studio (SSMS).
- HTML5, Bootstrap y CSS3
- Google Analytics y Adsense.
Responsabilidades:
- Diseño y matenimiento base de datos.
- Creación de reporting con SSRS.
- Métricas y KPIs del sitio web.
Soft Skills
- Trabajo en equipo.
- Gestión del tiempo.
- Habilidades de comunicación.
- Toma de decisiones y resolución de conflictos.
- Capacidad de negociación.
Educación
Databricks Data Engineer Associate
Certificación Databricks Data Engineer Associate
Azure Data Engineer Associate
Databricks Platform Administrator
Databricks Lakehouse Fundamentals
Azure Data Fundamentals
Master Big data
Técnico Informático
B1
Community Manager
Ciencias Empresariales
Azure Data Engineer Associate
Certificación oficial de Microsoft como Data Engineer en Azure.
Databricks Certified Data Engineer Associate
Certificación oficial Databricks como Data Engineer Associate
Tecnologías
Databricks
Transformación automatizada de datos con Databricks usando PySpark.
Azure Synapse Analytics
Servicio de análisis ilimitado que reúne la integración de datos, el almacenamiento de datos empresariales y el análisis de macrodatos
Python
El lenguaje de programación por excelencia para la manipulación de los datos.
Data Lake
Creación de un modelo de datos robusto y consistente
Spark
Framework para la gestión de datos distribuidos en paralelo.
Cassandra
Gestión de bases de datos NoSQL
