Ingénieur DATA SPARK SCALA

Nous recherchons un Ingénieur DATA SPARK SCALA pour une mission de 3 mois renouvelables sur Charenton :

soin : Description de la prestation =>
*Mise en œuvre de la chaîne
-d’ingestion de données,
-de validation de données,
-de croisement de données,
-de déversement dans le DWH des données enrichies,
*Développer dans le respect les règles d’architecture définies,
*Développer et documenter les user stories avec l'assistance du Product Owner,
*Produire les scripts de déploiement,
*Prioriser les corrections des anomalies,
*Assister les équipes d’exploitation,
*Participer à la mise en œuvre de la chaîne de delivery continu,
*Automatiser les tests fonctionnels.

Connaissances techniques souhaitées =>
-Stockage : HDFS / GCS,
-Traitement: Maitrise de l’écosystème Spark / Kafka/ Scala,
-Planification : Airflow / Composer,
-Gouvernance : Apache Atlas / Hive,
-Méthodologies : Scrum, Kanban, Git,
-DWH : SQL, Oracle / BigQuery,
-Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build,
-Connaissance de la plateforme Data GCP est un plus.
Contexte : Refonte de la solution de "reporting" de l'entité au travers de la mise en œuvre d'un entrepôt de données assurant la reprise de l'existant et permettant de répondre aux nouveaux besoins orientés Big Data.
Objectifs : *Récupérer les données issues de sources externes,
*Utiliser la puissance du Datalake,
*Produire et mettre à disposition automatiquement des agrégats.