Développeur Java Spark Scala

Nous sommes à la recherche pour l'un de nos clients d'un développeur Java Spark Scala pour l'un de nos clients pour la mission suivante : 

Concevoir, développer et maintenir des applications et pipelines Big Data performants et scalables, basés sur Java, Scala et Apache Spark, afin de traiter, transformer et valoriser de grands volumes de données.

Le Développeur Java / Spark / Scala intervient au cœur des architectures Data distribuées, avec un fort enjeu de performance, de fiabilité et d’industrialisation.

Responsabilités

Développement Big Data

Concevoir et développer des traitements distribués en Scala / Java

Implémenter des jobs Apache Spark (batch et, selon contexte, streaming)

Participer à la conception des architectures de traitement de données

Développer des pipelines robustes et scalables

Intégration & transformation des données

Traiter des données issues de sources multiples (SI, bases, fichiers, APIs)

Implémenter des logiques de transformation, d’enrichissement et d’agrégation

Garantir la cohérence et la qualité des données traitées

Participer à l’alimentation des Data Lakes, Data Warehouses ou plateformes analytiques

Qualité, performance & fiabilité

Optimiser les performances des jobs Spark (partitionnement, mémoire, parallélisme)

Mettre en place des mécanismes de gestion des erreurs et de reprise

Écrire des tests unitaires et d’intégration

Participer aux revues de code et aux bonnes pratiques Big Data

Collaboration & projet

Travailler en lien avec Data Engineers, Data Analysts et équipes IT

Participer aux phases de conception technique et de cadrage

Contribuer à la documentation technique

Intervenir dans des contextes Agile ou cycle en V

Exploitation & industrialisation

Participer aux mises en production et au support des traitements

Intégrer les pipelines dans des chaînes CI/CD

Contribuer à l’observabilité et au monitoring des traitements

Participer à l’amélioration continue des plateformes Data

Compétences clés

Compétences techniques

Excellente maîtrise de Java et/ou Scala

Solide expérience sur Apache Spark

Très bonne maîtrise du SQL

Compréhension des architectures Big Data (Data Lake, DWH, plateformes distribuées)

Connaissance des environnements Linux

Compétences fonctionnelles

Capacité à travailler sur des problématiques complexes et volumineuses

Rigueur, structuration et sens de la performance

Autonomie et esprit d’équipe

Capacité à comprendre des enjeux métiers data

Outils & technologies (selon contexte)

Langages : Java, Scala

Frameworks Big Data : Apache Spark, Spark SQL, Spark Streaming

Écosystème Data : Hadoop, Hive, Kafka (selon contexte)

Bases de données : PostgreSQL, Oracle, Snowflake, BigQuery

Cloud : AWS, Azure, GCP (selon projets)

CI/CD & DevOps : Git, Jenkins, Docker

Outils projet : Jira, Confluence