Data Engineer Expert Elastic Stack

La transformation des SI  vers des architectures modulaires, type micro-services, l’essor de nos infrastructures et l’évolution des technologies associées, ou encore l’automatisation accrue sur nos socles et applications, génèrent une quantité massive de Logs, devenues très hétérogènes, dispersées et silotées de par l’organisation de la banque et de ses Clients (équipes applicatives et socles multiples et dispersées).

Prenant en compte ce cadre, vos missions seront plus spécifiquement :

- Maîtriser l'ensemble des techniques et technologies composant la chaine de collecte à la mise à disposition des Logs

- Accompagner les besoins et projets sur la collecte, transformation, stockage et mise à disposition des données, provenant de sources diverses en adéquation avec la Stratégie Data

- Concevoir et mettre à disposition les outils et processus (CI/CD) permettant d’automatiser les pipelines d’ingestion de données prenant en compte les besoins de fréquences (batch, temps réel, …)

- Développer et déployer des mécanismes de contrôle qualité ainsi que des routines de vérification pour garantir l'intégrité et la fiabilité des données

Contexte technique :  Kafka, Scripting Python/SQL/Java, Suite Elastic (ElasticSearch/Kibana),  Apache Flink / LogStash, Agent de collecte (Elastic ou autre Open-Source)

Attendus

Pour réaliser la mission, vous serez à même de :

- Participer à la conception des solutions techniques et fonctionnelles

- Gérer les données de l’entreprise (flux : collecte, traitement, stockage et leur cycle de vie)

- Rédiger les documents fonctionnels et techniques, d’exploitation, en veillant au respect des normes existantes

- Mettre en œuvre en mode DevOps (CI/CD)

- Assurer le support technique et fonctionnel, notamment analyse et résolution des incidents ou problèmes

- Être en relation avec les équipes opérationnelles de l’entreprise pour prise en compte des flux de données

- Développer les cas d’usage de Dashboard / ML / IA dans la solution, remontés par les utilisateurs

Compétences requises

- Connaissances en infrastructure : réseau / système

- Connaissance indispensable en SGBD et langage de requêtage

- Connaissance forte en streaming

- Architecture d’Entreprise, plus particulièrement en base de données, flux de données

- Conception et mise en place de solution de stockage et ingestion de données

- Méthodologie Agile / DevOps, maitrise des outils associés

- Gouvernance de la donnée

- Maitrise de divers langages de programmation (Java/Python)

- Anglais

Qualités humaines

- Curieux et force de propositions

- Esprit d’analyse, rigueur, sens de la méthode

- Capacités relationnelles et travail en équipe

- Disponibilité et réactivité

- Sens du service et respect des engagements

- Communication (écrite et orale) claire et concise