Ingénieur big data freelance : Derniers freelances identifiés et missions récentes publiées

Exemple de missions d'Arthur,
Ingénieur big data habitant la Seine-Saint-Denis (93)

Expérience professionnelle

Ingénieur Big Data Sénior Depuis juin 2023 (1 an)
CGI, en mission chez Allianz France
Conception et développement d’une chaine de transformation des données sur Azure, selon le modèle data vault 2.0
Missions :
- Parsing des données CSV et écriture des fichiers Delta dans des storages accounts.
- Création des entités Raw Vault et Business Vault dans le Delta Lake à l'aide de DBT (Data built tool) et de Trino
- Déploiement des containers sur AKS (Azure Kubernetes Services)
- Design et réalisation d'un composant Kubernetes permettant l'export automatique vers des serveurs externes de type SFTP
- Mise en place des tests de données avec DBT
Environnement technique : ADLS Gen2, AKS (Azure Kubernetes Services), DBT (Data Build Tool), Pyarrow, delta-rs, Trino, ArgoCD,
Github actions

Ingénieur Big Data De juin 2022 à juin 2023 (1 an)
KLANIK KORNER en mission chez AMADEUS Villeneuve-Loubet
Création et qualification d’une pipeline de calcul des Datamarts avec Databricks et Snowflake
Missions :
- Collecte des fichiers Avro sur Azure, calcul des Datamarts avec Databricks et alimentation de Snowflake
- Enrichissement des Datamarts à l'aides des données de référentiel situées sur Azure et optimisation Snowflake
- Optimisation des jobs spark pour l’amélioration des temps de traitement (tuning des paramètres de configuration,
dimensionnement du cluster, amélioration du code)
- Mise en place des scripts en Scala et SQL pour validation automatique de la qualité des données
Environnement technique : Snowflake, Spark, Scala, SQL, Databricks, Azure, Bitbucket, jenkins, Jira

Architecte data De janvier 2021 à mai 2022 (1 an)
ORANGE Cameroun
Missions:
- Suivi du programme d'audit de la gouvernance selon le programme DAMA-DMBOK
- Mise en place d'un data catalogue
- Suivi d'un projet de migration Cloud : migration de certains flux HDP vers GCP
- Autorité de sécurité et de design sur le cluster HDP
- Réalisation des études d'impact pour la collecte de nouveaux flux de données notamment les données de sondes téléphoniques

Ingénieur Big Data et IA De juin 2020 à décembre 2020 (6 mois)
Orange Cameroun Douala
IV - Mise en place de 2 modèles de prédiction (data IA)
Missions :
- Implémentation et industrialisation d'un modèle de régression logistique pour la détection de churn
- Implémentation et industrialisation d'un modèle LSTM permettant la détection des ruptures de stock
Environnement technique : Jupyter, Spark 3, Python 3.7 (Scikit-learn, TensorFlow, Keras), Airflow pour l'orchestration

Ingénieur Big Data De novembre 2018 à mai 2020 (1 an)
Orange Cameroun Douala
III - Conception et mise en place d'un cluster Elasticsearch
Missions :
- Planning capacity
- Design des architectures physiques et fonctionnelles
- Réalisation de la pipeline d'ingestion, configuration des index et de l'ILM (L'Index Lifecycle Management)
- Reprise de données
Environnement technique : Filebeat, Logstash, Spark streaming, Elasticsearch 7.5
Valeur business: Multiplication par 600 de la vitesse de recherche évolutivité, robustesse et modernisation des plateformes

II - Calcul des indicateurs de performance BI sur HDP
Missions :
- Développement d'un chaine sur NIFI pour la collecte de données, avec envoi simultané vers HDFS pour traitement via Spark ou
Hive, et vers Kafka pour traitement avec Spark Streaming.
- Mise en place d’un programme scala permettant d’orchestrer et d’exécuter les jobs de différent type (Spark, Hive, Pig, Sqoop)
- Développement des jobs Spark SQL pour la transformation des données entre les couches Raw, Refined, Enriched et Aggregated
- Monitoring des composants hadoop
Environnement technique : Scala, Spark, SparkSQL, Hadoop, NIFI, Kafka, Gitlab CI/CD
Valeur business: Amélioration des SLA à cause d'une vitesse de calcul x10 évolutivité et scalabilité des plateformes

I - Mise en place de la plateforme HDP (Hortonworks Data Platform)
Missions :
- Installation et configuration des services et applications HDP suivant une architecture Lambda.
Environnement technique: HDP 3.1.0 (HDFS, YARN,NIFI, KAFKA, SPARK, HIVE , Zookeeper, Kerberos, Pig, ...)

EXPÉRIENCES PROFESSIONNELLES

Développeur Full Stack De décembre 2016 à octobre 2018 (1 an)
Cible RH en mission chez Orange Cameroun Douala
- Conception et implémentation d’un outil de lutte contre les fraudes ByPass : Détections et suspension automatique des
fraudeurs, analyse des données telco pour les prédictions de fraude. Réduction de 95% des pertes dues aux fraudes bypass.
- Conception et implémentation d’un portail selfcare sécurisé (Web et USSD) permettant aux clients d’avoir une traçabilité sur
leurs transactions téléphoniques de type voix, sms et data. Diminution de 60% des plaintes client.
- Conception et implémentation d’un outil de gestion des contrôles internes, des missions d’audit et des processus
Outils : Falcon 2.0 (Python), LARAVEL 5.4 (PHP), ReactJs 15.2, GIT, Kubernetes, Jira