Senior Data Engineer

🚀 Senior Data Engineer (Scala & Apache Spark – Producción)

En Excelia somos una firma multinacional líder en Consultoría, Tecnología y Servicios profesionales, con más de 25 años de trayectoria y presencia en más de 50 países 🌎.

💼 Buscamos Senior Data Engineer especializado en Spark

🔍 Requisitos (excluyentes)

• Experiencia sólida con Scala + Apache Spark en producción

• Conocimiento profundo de arquitectura y optimización de Spark

• Capacidad de análisis de rendimiento y refactorización de código

• Alta autonomía técnica

🧠 Experiencia clave

• Optimización avanzada en Spark

  • Catalyst optimizer (planes lógicos y físicos)

  • Lectura de DAGs y detección de cuellos de botella

  • Tungsten (memoria y serialización eficiente)

• Performance tuning

  • Cache/persist, checkpoint y gestión de memoria

  • Eliminación de shuffles y joins (broadcast, co-particionado)

  • Particionado avanzado, salting y corrección de data skew

• Procesamiento distribuido complejo

  • mapPartitions avanzado

  • Procesamiento de estructuras jerárquicas (árboles, bosques)

  • Traversal distribuido sin iteraciones costosas

• Snowflake avanzado

  • Clustering, micro-particiones, pruning y pushdown

  • Optimización del conector Spark-Snowflake

💼 ¿Qué harás?

• Optimizar pipelines Spark en producción

• Refactorizar código con problemas de rendimiento

• Diseñar procesamiento distribuido eficiente a gran escala

• Reducir costes, latencia y consumo de recursos

✨ Ofrecemos

📝 Proyecto estable y de alto impacto
💰 Salario competitivo
📈 Entorno técnico exigente
🤝 Equipo senior