Ingénieur big data freelance : Meilleurs profils dispos et nouvelles missions publiées

Exemple de missions d'Arthur,
Ingénieur big data habitant la Seine-Saint-Denis (93)

• Ingénieur Big Data Sénior

  CGI, en mission chez Allianz France
  Jan 2023 - aujourd'hui

  Conception et développement d’une chaine de transformation des données sur Azure, selon le modèle data vault 2.0
  Missions :
  - Parsing des données CSV et écriture des fichiers Delta dans des storages accounts.
  - Création des entités Raw Vault et Business Vault dans le Delta Lake à l'aide de DBT (Data built tool) et de Trino
  - Déploiement des containers sur AKS (Azure Kubernetes Services)
  - Design et réalisation d'un composant Kubernetes permettant l'export automatique vers des serveurs externes de type SFTP
  - Mise en place des tests de données avec DBT

  Environnement technique : ADLS Gen2, AKS (Azure Kubernetes Services), DBT (Data Build Tool), Pyarrow, delta-rs, Trino, ArgoCD, Github actions

• Ingénieur Big Data

  KLANIK KORNER en mission chez AMADEUS Villeneuve-Loubet
  Jan 2022 - Jan 2023

  Création et qualification d’une pipeline de calcul des Datamarts avec Databricks et Snowflake
  Missions :
  - Collecte des fichiers Avro sur Azure, calcul des Datamarts avec Databricks et alimentation de Snowflake
  - Enrichissement des Datamarts à l'aides des données de référentiel situées sur Azure et optimisation Snowflake
  - Optimisation des jobs spark pour l’amélioration des temps de traitement (tuning des paramètres de configuration,
  dimensionnement du cluster, amélioration du code)
  - Mise en place des scripts en Scala et SQL pour validation automatique de la qualité des données

  Environnement technique : Snowflake, Spark, Scala, SQL, Databricks, Azure, Bitbucket, jenkins, Jira

• Architecte data

  ORANGE Cameroun
  Jan 2021 - Jan 2022

  Missions:
  - Suivi du programme d'audit de la gouvernance selon le programme DAMA-DMBOK
  - Mise en place d'un data catalogue
  - Suivi d'un projet de migration Cloud : migration de certains flux HDP vers GCP
  - Autorité de sécurité et de design sur le cluster HDP
  - Réalisation des études d'impact pour la collecte de nouveaux flux de données notamment les données de sondes téléphoniques

• Ingénieur Big Data et IA

  Orange Cameroun Douala
  Jan 2020 - Jan 2020

  IV - Mise en place de 2 modèles de prédiction (data IA)
  Missions :
  - Implémentation et industrialisation d'un modèle de régression logistique pour la détection de churn
  - Implémentation et industrialisation d'un modèle LSTM permettant la détection des ruptures de stock

  Environnement technique : Jupyter, Spark 3, Python 3.7 (Scikit-learn, TensorFlow, Keras), Airflow pour l'orchestration

• Ingénieur Big Data

  Orange Cameroun Douala
  Jan 2018 - Jan 2020

  III - Conception et mise en place d'un cluster Elasticsearch
  Missions :
  - Planning capacity
  - Design des architectures physiques et fonctionnelles
  - Réalisation de la pipeline d'ingestion, configuration des index et de l'ILM (L'Index Lifecycle Management)
  - Reprise de données
  Environnement technique : Filebeat, Logstash, Spark streaming, Elasticsearch 7.5
  Valeur business: Multiplication par 600 de la vitesse de recherche évolutivité, robustesse et modernisation des plateformes
  
  II - Calcul des indicateurs de performance BI sur HDP
  Missions :
  - Développement d'un chaine sur NIFI pour la collecte de données, avec envoi simultané vers HDFS pour traitement via Spark ou
  Hive, et vers Kafka pour traitement avec Spark Streaming.
  - Mise en place d’un programme scala permettant d’orchestrer et d’exécuter les jobs de différent type (Spark, Hive, Pig, Sqoop)
  - Développement des jobs Spark SQL pour la transformation des données entre les couches Raw, Refined, Enriched et Aggregated
  - Monitoring des composants hadoop

  Environnement technique : Scala, Spark, SparkSQL, Hadoop, NIFI, Kafka, Gitlab CI/CD Valeur business: Amélioration des SLA à cause d'une vitesse de calcul x10 évolutivité et scalabilité des plateformes

• Développeur Full Stack

  Cible RH en mission chez Orange Cameroun Douala
  Jan 2016 - Jan 2018

  - Conception et implémentation d’un outil de lutte contre les fraudes ByPass : Détections et suspension automatique des
  fraudeurs, analyse des données telco pour les prédictions de fraude. Réduction de 95% des pertes dues aux fraudes bypass.
  - Conception et implémentation d’un portail selfcare sécurisé (Web et USSD) permettant aux clients d’avoir une traçabilité sur
  leurs transactions téléphoniques de type voix, sms et data. Diminution de 60% des plaintes client.
  - Conception et implémentation d’un outil de gestion des contrôles internes, des missions d’audit et des processus

  Outils : Falcon 2.0 (Python), LARAVEL 5.4 (PHP), ReactJs 15.2, GIT, Kubernetes, Jira