Data Engineer

Nous recherchons un data-Engineer pour un de nos clients grands comptes sur Paris. 

Démarrage : Début Octobre

Contexte : 

Le Chapitre Data, rattaché à la Direction Data, est présent sur les 6 sites du client.

Ses principales missions sont :

- L’accompagnement des différentes squads de l’entreprise dans la conception et la réalisation de leurs cas d'usages data, tout en garantissant l’uniformité et la cohérence d’application du modèle Data dans la fabrication des cas d’usages.

- L’animation de la gouvernance, la qualité et la protection de la donnée dans l’entreprise via son Data Office.

La présente mission vise à renforcer le Chapitre sur des activités de Data Ingénierie sur le site de Paris

tâches : 

- Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad)

- Affiner les US avec le PO/BA, concevoir puis développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers :

Concevoir et développer des pipelines via ETL interne basé sur spark / Automatiser l'ingestion de données depuis diverses source / Orchestrer les flux de données batch et temps réel

- Mettre en œuvre les tests unitaires et automatisés

- Déployer le produit dans les différents environnements

- Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents y compris mise en place et optimisation du monitoring

- Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Attendu :

Renfort du Chapitre Data d’un profil Data Engineer Experimenté qui sera amené à intervenir au sein d'une squad du domaine régalien, dans un environnement Cloudera - en utilisant un framework interne entreprise – en lien avec PO/BA de la squad ainsi que l’équipe de Dev., ceci dans un cadre agile

⚠️ Au-delà des aspects techniques, il est attendu que le profil soit appétent et sensible aux enjeux métiers : Comprendre les besoins métiers pour adapter et décliner la solution technique 

Compétences techniques : 

Langage : 

• - Spark - spark streaming et batch (requis), 
• - SQL (requis)
• - xDI
• Framework Big Data : Hadoop Cloudera (très fortement apprécié)
• Base de données (requis)
• SQL (exemple : Teradata, Hive, Phoenix)
• NoSQL (exemple : Hbase, MongoDB)
• DEVOPS : GIT, Jenkins, Artifactory, XL Release,
• Monitoring : ELK Stack (Elasticsearch, Logstash, Kibana), Grafana

Compétences humaines : 

• Gouvernance et protection de la donnée :
• Conformité réglementaire (RGPD)
• Data lineage et catalogage