Développeur big data freelance : Principaux profils disponibles et nouvelles missions déposées

Exemple de missions de Lamine,
Développeur big data habitant les Yvelines (78)

Expérience professionnelle

ENTREPRENARIAT – Automatisation – IA – No-Code
Période : Janvier 2024 – Octobre 2024
10 mois
• Automatisations - NoCode - IA : Accompagne les petites et moyennes entreprises à
identifier et à intégrer des solutions IA/Automatisation/No-code de pointe en les
guidant de manière transparente de la conception, à la réalisation
• Chatbot Marketing : Aider les entrepreneurs sur Instagram à convertir leurs contenus en
revenus grâce au Chatbot Marketing

LEAD DATA ENGINEER chez STAGO
Période : d’Avril 2023 – Décembre 2023
Projet : Activités en tant que DATA ENGINEER
Au sein de STAGO. Projet d’ingestion des données remontées par les instruments médicaux.
Tâches et responsabilités :
✓ Collaborer avec les experts métier pour comprendre les problématiques métier et
opérationnelles
✓ Assurer le suivi de la production
✓ Conception de pipelines de données : Création des processus pour collecter et transformer
les données.
✓ Développement de solutions Big Data : Utilisation de Spark, Scala et Python, Databricks
✓ Optimisation des performances : Amélioration de l'efficacité des pipelines de données pour
un traitement plus rapide.
✓ Gestion de la qualité des données: Assure l'intégrité, la pertinence et la sécurité des données.
✓ Collaboration avec les parties prenantes: Collaboration avec les data scientists et les
analystes pour répondre à leurs besoins en matière de données.
✓ Formation des membres de l'équipe et Documentation: Forme l'équipe sur les technologies
et techniques de gestion des données.
✓ Maintenance de l'architecture de données: Veille à la flexibilité de l'architecture pour
l'ajout de nouvelles sources de données.
✓ Gestion de projet: Manage l’équipe de Data Engineer, garantit le respect des échéances et la
qualité du travail.
✓ Veille technologique
✓ Mise en place de bonnes pratiques
Environnement technique :
✓ Framework Spark (dataframe, dataset, rdd)
✓ Langage Scala, Library ScalaTest, Python
✓ Plateforme Databricks
✓ Langage SQL
Deequ
✓ AZURE DevOps (CI/CD, pipeline, git)
✓ Azure ADLS, Azure Data Factory,
✓ IDE IntelliJ

SENIOR CLOUD DATA ENGINEER chez AXA - Direct Assurance
Période : d’Août 2022 – Avril 2023
Projet : Activités en tant que DATA ENGINEER
Au sein du groupe AXA-Direct Assurance. Projet de migration de la plateforme Data vers le Cloud
Azure. Je travaille en particulier dans la refonte de la solution datawarehouse historique vers le cloud
Azure(Data ingestion, Data transformation, business, views … etc)
Tâches et responsabilités :
✓ Collaborer avec les experts métier pour comprendre les problématiques métiers et
Opérationnelles
✓ Identifier, collecter, explorer, comprendre et intégrer les données nécessaires à la résolution
des différentes problématiques
✓ Assurer le suivi de la production
✓ Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats
✓ Participer, avec l’équipe, au développement de la plateforme sur Azure et à la définition des
bonnes pratiques de développement
4/9
Environnement technique :
✓ Framework Spark (dataframe, dataset, rdd)
✓ Langage Scala, Library ScalaTest
✓ Plateforme Databricks
✓ Langage SQL
✓ AZURE DevOps (CI/CD, pipeline, git)
✓ Azure ADLS, Azure Data Factory,
✓ IDE IntelliJ
✓ Format de données (np. Avro, Parquet, JSON, CSV/Excel, Delta)

MISSIONS ET STAGES EFFECTUEES UMANIS

FREELANCE
BIG DATA ENGINEER
Période : de Novembre 2018 – Juin 2021
2 ans 8 mois

Projet : Au sein du groupe EDF, projet de réalisation d’un outillage de déploiement permettant de
standardiser les processus de déploiement des applications en environnement BIG DATA reposant sur
les outillages DevOps, Tests unitair es des composants de la suite HortonWorks après des montées de
version.
Tâches et responsabilités :
 Définition de l’architecture
 Automatisation des déploiements d’applications Big Data
 Collecte des besoins commanditaires
 Développement
 Montée de version de cluster HDP de 2.5.3 vers 2.6.5
 Tests unitaires des composants du cluster après la montée de version.
 Support de niveau 3 et suivi des incidents Big Data
Environnement technique : HDP 2.5.3, 2.6.5 (Kafka, Spark, HBAse, Knox,Hive … ), Scala, Java,
Gitlab, Jenkins, Ansible, … etc

UMANIS
BIG DATA ENGINEER chez BNP Paribas
Période : d’Octobre 2018 – Novembre 2018
2 mois
Projet : Projet de Centralisation des données produites par le processus métiers du SI front et back
office des clients professionnels et Entreprises.
Tâches et responsabilités :
 Définition de l’architecture
Environnement technique : Apache Kafka, Apache Flink, Ansible

Consultant BIG DATA chez EDF Période

: De Juin2017 –Aujourd’hui Projet:Projet de Centralisation des données produites par le processus métiers du SI front et back
office des clients professionnels et Entreprises. Tâches et responsabilités:

Définition de l’architecture
Développement de chaînes d’automatisation de transfert de données à partir d’un data lake sur un cluster Haddop vers une base relationnelle
Développement de chaînes de traitement de données sur ODI: Création de mappings et packages
Réalisation de tests de performances et optimisation des développements
Assistance à la recette
Suivi de l’avancement des sprints
Déploiement et suivi dans la production
Environnement technique :
Apache Kafka, Apache Spark, Scala, Hive, Sqoop, HBase , Oracle , Oozie, Shell , Java, Scala 2/4
MIND 7 CONSULTING DEVELOPPEUR BIG DATA chez Colissimo Durée de la mission : 7mois Période : D’Octobre 2016 –Mai

2017Projet:Capture transformation et diffusion d’un large volume d’évènements colis en temps réel. Développeur Big Data dans une
équipe chargée de la conception et de la réalisation d’un projet dont le but principal est de diffuser des événements colis aux partenaires concernés Tâches et responsabilités :
Capture des événements colis via un topic Kafka
Implémentation des règles de filtrages et de sélection des événements à diffuser
Mapping de ces événements
Stockage des ces événements en format avro/binaire
Mise à disposition des donnes grâce à une api play
Supervision du flux d’événements en indexant les événements capturés,transformés et/ou stockés avec Elastic Search
Réalisation d’une IHM de supervision avec « d3 js»
Méthodologie agile
Environnement technique :
Apache Kafka, Apache Spark,Cassandra,Elastic Search,Play FrameWork , Scala
ORANGE
Stage Big Data/ Business Intelligence
Durée de la mission : 6 mois Période:

Avril –Septembre 2016
Projet:Extraction transformation et Visualisation en temps réel d’un large volume de données. Développeur Big Data dans une équipe c
hargée de concevoir et de réaliser une architecture Big Data dont le but est de pouvoir générer des rapports et des tableaux de bords en temps réel sur des données opérationnelles d’Orange Money.
Tâches et responsabilités :
Evaluation de l’architecture et des briques principales le constituant
étude et comparaison de différents outilsBig Data (Cassandra,Mongo DB,Striim .. etc)
établissement d’un flux de donnée temps réel de la base de donnée opérationnelle (MySQL,Oracle) à la base de donnée historique (Cassandra)
extraction des données opérationnelles pour les produiure dans un topic kafka grâce à un data extractors
Transformation du flux de données consommé via Spark Streaming
Environnement technique :Apache Kafka, Apache Spark , Cassandra , Pentaho , Striim , Maxwell NEDJMA TELECOM (ALGERIE)
Stage développeur
Web Durée de la mission : 5mois
Période:2014
Projet:Développement d’une IHM pour dématérialiser la gestion du planning des salariés
Tâches et responsabilités :
Collecte des spécifications fonctionnelles
Diagramme UML
Développement Java
Environnement technique :
Eclipse, Java (EE), Design patterns, UML, MySQL