Architecte Data

Nous recherchons un Data Engineer pour un de nos clients grands comptes sur Paris.

Description du besoin :
Récupérer les données issues de sources externes
• Utiliser la puissance du Datalake
• Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels.

Mise en œuvre de la chaîne :
o d’ingestion de données,
o de validation de données,
o de croisement de données,
o de déversement dans le datalake des données enrichies

• Développer dans le respect des règles d’architecture définies
• Développer et documenter les user stories avec l’assistance du Product Owner.
• Produire les scripts de déploiement
• Prioriser les corrections des anomalies
• Assister les équipes d’exploitation
• Participer à la mise en œuvre de la chaîne de delivery continue
• Automatiser les tests fonctionnels
Aspects Humains :
• Grande capacité à travailler dans une équipe, en mode Scrum / Kanban.
• Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail).
• Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées.

Connaissances techniques :
• Stockage : HDFS / GCS
• Traitement: Maitrise de l’écosystème Spark / Kafka / Scala
• Planification : Airflow / Composer
• Gouvernance : Apache Atlas / Hive
• Méthodologies : Scrum, Kanban, Git
• DWH : SQL, Oracle / BigQuery
• Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build
• La connaissance de la plateforme Data GCP est un plus


Contexte de la mission :
Le client a lancé un projet de construction de son nouveau socle Data. Un chantier de collecte et de réécriture des alimentations et des transformations de données est réalisé au sein de l’équipe. Il s'accompagne d'une nouvelle politique et d'une nouvelle organisation de gestion de la donnée pour en assurer l'intégrité, la sécurité et la qualité.

Description :
• Définir et maintenir l’architecture technique (référentiel) de tout ou partie du système d’information en veillant à la cohésion entre les aspects matériels, applicatifs, systèmes d'exploitation, réseaux…
• Garantir la cohérence, la pérennité et analyse les impacts techniques des nouvelles solutions et leur cohérence avec l'architecture existante
• Etablir des préconisations pour tout nouveau projet ou nouvelle technologie et conseille l'urbaniste sur l'utilisation et les implémentations possibles des outils
• Communiquer l'architecture auprès des équipes projet (conception, développement, intégration, tests...)
• Organiser les choix de veille technologique
• Garantir les bonnes performances de l'architecture, de la stabilité, d'évolution, et des délais de réponse des services
• Définir l’architecture technique du ou des systèmes d’information
• Vérifier et analyser les impacts techniques des nouvelles solutions et leur cohérence avec l'architecture existante
• Définition et gestion du référentiel du système informatique sur les plans : outils, procédures, normes, vocabulaire, sécurité…
• Définition et gestion des standards techniques
• Pour tout nouveau projet ou toute nouvelle technologie, participer à l’étude d’impact sur l’architecture existante ou prévisionnelle
• Préconiser des choix techniques en vue d’assurer la cohérence de cette évolution
• Conseiller l'urbaniste sur l’utilisation et les implémentations possibles des outils informatiques et de télécommunications
• Organiser les choix de veille technologique
• Travailler en équipe avec l'Urbaniste des SI
• Promouvoir l’architecture technique auprès des informaticiens