Expériences Professionnelles - Big Data
Carrefour – Paris – Techlead Big Data – Senior Data Engineer - Dec. 2022 – Aujourd’hui
Objectifs réalisés :
• Conception et déploiement de stratégies pour les clusters Kafka, incluant la configuration, la sélection des machines
et l'optimisation des performances.
• Conception et optimisation de pipelines de données à grande échelle avec Apache NiFi et Confluent Kafka, assurant
l'intégration fluide de flux de données en temps réel.
• Intégration et déploiement de Kafka Confluent Cloud sur Google Cloud Platform (GCP), créant ainsi une infrastructure
de streaming évolutive et résiliente.
• Implémentation de solutions analytiques avec BigQuery, Dataflow et Compute Engine pour améliorer la prise de
décision basée sur les données.
• Automatisation des workflows avec Apache Airflow afin d'accélérer le déploiement de nouvelles fonctionnalités.
• Mise en place des modèles d'architecture Kafka et NiFi, et élaboration des DAT (Dossiers d'architecture technique).
• Optimisation des configurations des solutions de streaming (Confluent Kafka, NiFi).
• Analyse et optimisation continues des performances des clusters de streaming Kafka et NiFi, et des chaînes de
traitement de données en temps réel.
• Conception et développement des modèles de traitements des données en batch avec Spark Scala.
• Création de manuels de référence pour optimiser les performances et les traitements.
• Participation active à la montée en compétences des développeurs sur les environnements techniques.
Environnements techniques : Apache NiFi, Confluent Kafka, Google Cloud Platform (GCP), BigQuery, Dataflow, Compute
Engine, Docker, Spark, Scala, Python, PySpark, Git, Gitlab CI
EDF – Paris – Senior Data Engineer - Sept. 2020 – Dec 2022
Objectifs réalisés :
• Analyse et développement des solutions d'entrepôt de données sur Hadoop Cloudera, en définissant une
architecture adaptée aux besoins.
• Conception et Développement des parties d’ingestion et chargement des data streams sur HBase, en utilisant Kafka
et Spark comme solution de streaming.
• Conception d'une solution de transformation des données courbes de charge en utilisant des pipelines Spark Scala.
• Modélisation des données, développement des ETL/ELT et entrepôts de données
• Conception des flux de données ETL/ELT entre les datasets, SGBDs et API.
• Création d'une solution de supervision des processus d'ingestion, en intégrant Kafka et NiFi pour surveiller et gérer
les flux de données.
• Transformation des données avec PySpark pour présentation sur API
• Résolution des problèmes d'alimentation des données sur les flux existants, en optimisant les flux de données sur
NiFi
• Création et exploitation de tables externes/internes Hive avec HiveQL, Spark-SQL et Spark Scala
• Création de requêtes d'analyse sur Hive pour répondre aux besoins métiers, en assurant une intégration fluide avec
les différentes chaines de valeur.
• Optimisation des performances des Jobs d’ingestion de données ( Spark, Hive SQL), en surveillant et en améliorant
les configurations.
• Collaboration avec le métier pour la définition des besoins
• Conception et développement des Jobs de traitements de données avec Spark Scala
Environnements techniques : Apache HBase, Apache Hive, Apache Kafka, Apache Solr, Apache Spark, Gouvernance des
données, Atlas, Hadoop, Java, Linux, NoSQL, Système temps réel, Scala, Stack Big Data, Python, NiFi, Knox, ETL/ELT, AWS
VEON – Amsterdam, Pays-Bas - Senior Big Data Engineer – Mai. 2016 – Aout 2020
Objectifs réalisés :
• Développement d’une solution de gestion des triggers en temps réel en utilisant Apache Kafka et NiFi, améliorant la
réactivité des systèmes de gestion de télécommunications.
• Pilotage du projet Telecom Network Management Solution : mise en œuvre avec Apache Kafka, NiFi, Hive, Spark
Scala et Spark SQL pour optimiser la gestion et l'analyse des réseaux.
• Conception et mise en place du projet de comptabilité analytique avec Informatica et Teradata SQL, intégrant des
données complexes pour une analyse financière précise.
• Intégration et gestion des datasets provenant de multiples sources sur Hadoop, renforçant la centralisation et
l'accessibilité des données.
• Développement de solutions pour l'entrepôt de données Hadoop et modélisation de données avancée, supportant
des initiatives stratégiques de data warehousing.
Utilisation des données et modèles de data-warehouse pour la création et l'amélioration de produits data,
implémentant des cas d'usage business critiques.
• Conception et mise en œuvre de flux de données ETL/ELT end-to-end avec Apache NiFi, assurant une intégration
fluide et efficace des données.
• Développement et optimisation de flux de données ETL/ELT pour divers datasets et SGBDs, augmentant la précision
et l'efficacité des traitements de données.
• Création et exploitation de tables externes/internes avec Hive QL, Spark SQL et Spark Scala, permettant des analyses
complexes et à grande échelle.
• Optimisation des performances des requêtes Spark/Hive/SQL, réduisant les temps de réponse et augmentant
l'efficacité opérationnelle.
• Développement de composants pour l'ingestion et le chargement de data streams sur Apache Kafka, facilitant la
gestion en temps réel des flux de données.
• Gestion de projets de datawarehouse et d'analyse de données à grande échelle, dirigeant des équipes vers des
objectifs stratégiques et des résultats mesurables.
• Analyse de grands volumes de données et extraction d'insights, guidant les décisions d'affaires grâce à des analyses
approfondies.
Environnements techniques: Cloudera, Apache HBase, Apache Hive, Apache Kafka, Apache Solr, Apache Spark, Hadoop,
Java, Linux, NoSQL, Système temps réel, Scala, Stack Big Data, Python, NiFi, Teradata, Informatica, ETL/ELT, Microsoft
Azure, Databricks
Optimum Telecom – Amsterdam, Pays-Bas – Big Data Engineer et Administrateur du Système de Monitoring
– Sept 2014 – Mai 2016
Objectifs réalisés :
• Créer des rapports et des dashboards Business Intelligence sur Microstrategy ( Web, Desktop) , Tableau et Metabase
• Développer des bases de données et des workflows ETL/ELT
• Développer les transformations des données depuis leur état brut vers des cubes pour reporter et analyser les
performances du réseau Telecom
• Générer et fusionner des rapports depuis des sources multiples
• Automatisation de la vérification de l’intégrité des données et de la normalisation des données
• Développement des scripts Java, BAT et Shell pour le batch processing
• Administration de multiple SGBDs tel que MSSQL et MySQL
• Répondre aux demandes d'analyse ad-hoc et faciliter les acquisitions de données pour soutenir les projets internes,
les projets spéciaux et les investigations
• Expliquer clairement les résultats des données et discuter de la manière dont ils peuvent être utilisés pour soutenir
les objectifs des projets
• Dépannage et test du système de monitoring Télécom d'Astellia
• Conception et développement des environnements de reporting et des sources de données
• Développement des scripts d'agrégation, de calcul et d'analyse des indicateurs et des clés de performance Telecom
• Gérer et maîtriser les données, y compris la création, les mises à jour et la suppression
• Administration des utilisateurs et des rôles des utilisateurs métier ou du secteur IT/Telecom
• Dépannage du réseau TCP/IP
• Suivie des tickets avec le fournisseur Astellia
Environnements techniques Hadoop, Apache Hive, Big Data Analytics, ETL/ELT, Microstrategy, Tableau, Metabase, BI,
SGBD, MySQL, Java, Linux, AWS
Huawei Technologies – Paris, France – Software Engineer, télécommunication Engineer – Jan. 2012 – Aout.
2014
Objectifs réalisés :
• Développement d'un outil de configuration de l'équipement MSAN en utilisant Java
• Gestion du projet MSAN dans une région
• Assurer la mise en service à toutes les étapes (Hardware et Software et Networking)
• Diagnostiquer et résoudre les problèmes complexes des clients pour la mise en œuvre, l'ajout, la maintenance et le
support des applications voix, données, VoIP et CTI.
• Planification du calendrier de déploiement en fonction de la disponibilité des ressources Métier, matériel et humaine
Environnements techniques : Java, Shell, Linux, VoIP, CTI, Python