CV/Mission HDFS freelance

Résumé des missions de Jihed,
freelance HDFS résidant dans les Hauts-de-Seine (92)

• Développeur Senior Big Data:

  Client «Société Générale»
  Jan 2020 - aujourd'hui

  Projet
  Conception et mise en place d’une solution de transfert et traitement des données de hdfs vers un calculateur d'impayés pour les clients bancaires
  
  Contexte
  Développement d'une solution pour construire une vue complète sur les clients bancaires en question et alimenter cette vue à un calculateur, afin de déterminer les impayés d'un client.
  Réalisations
  ▪ Conception technique du projet et la validation de l'architecture proposée
  ▪ Développement du job Spark pour homogénéiser et normaliser les données et les stocker dans des fichiers hdfs temporaires
  ▪ Implémentation de job Spark pour réaliser les jointures entre les tables temporaires
  ▪ Construction des blocs Nifi pour cristalliser les données à traiter et assurer l'alimentation du calculateur.
  ▪ Implémentation de la partie monitoring en utilisant ElasticSearch et Kibana
  ▪ Mise en Prod et assistance post prod.

  Environnement Scala, Spark, Hive, Kafka, HDFS, Gitlab, Scala Test, Jenkins, Nexus, SonarQube, Nifi, Kibana, ElasticSearch.

• Développeur Senior Big Data

  Client «Société Générale»
  Jan 2019 - aujourd'hui

  Projet
  Conception et mise en place d’une solution de transfert et traitement des données de hdfs vers un calculateur d'impayés pour les clients bancaires
  
  Contexte
  Développement d'une solution pour construire une vue complète sur les clients bancaires en question et alimenter cette vue à un calculateur, afin de déterminer les impayés d'un client.
  Réalisations
  Développement delu job Spark pour homogénéiser et normaliser les données et les stocker dans des fichiers hdfs temporaires
  Implémentation de job Spark pour réaliser les jointures entre les tables temporaires
  construction des blocs Nifi pour cristalliser les données à traiter et assurer l'alimentation du calculateur.

  Environnement Scala, Spark, Hive, Kafka, HDFS, Gitlab, Scala Test, Jenkins, Nexus, SonarQube, Nifi.

• Développeur Big Data

  Client « EDF» –
  Jan 2018 - Jan 2019

  Projet
  Conception et mise en place d’une chaîne de transfert et traitement des données de hbase vers les outils de disposition BI
  
  Contexte
  Développement d'une solution pour construire une vue complète d'un produit (commerciale, technique, maintenance, etc.) toute en appliquant les bonnes règles de gestion sur une variété de données.
  Réalisations
  Développement d'un job Spark pour homogénéiser les données et les stocker dans hive
  Dévloppement des scripts hive pour construire le datawarhouse sur hive
  Implémentation du job Spark pour l'ingestion de donées dans SQLServer
  construction des vues dans SQLServer

  Environnement Java, Scala, Spark, SQLServer, HBase, HDFS, Gitlab, Scala Test, Jenkins, Nexus, SonarQube.

• Développeur Big Data

  Projet « E-Reputation »
  Jan 2017 - Jan 2018

  Contexte
  Collecte des données depuis les réseaux sociaux et leur transformation en un format exploitable pour permettre une vue détaillée en temps réel d’un produit ou d’un sujet d'actualité.
  Réalisations
  Développement de plusieurs job Spark d’acquisition des données en temps réel depuis les réseaux sociaux, les données sont directement ingérés dans des topics Kafka pour être ensuite consommées dans des jobs Spark Streaming ;
  Agrégation et normalisation des données et stockage dans HDFS ;
  
  Développement du job d’analyse sentimentale (Naive Bayes, Random Forest, K-Means) sur les données récoltées et stockage des résultat dans Elasticsearch (pour une visualisation sur Kibana).

  Environnement Spark, Java, Python Kafka, HDFS, ElasticSearch, Git, Jenkins, Maven.

• Stage de fin d’études

  OOREDOO [Groupe Recherche et Développement] –
  2016 - aujourd'hui

  Projet
  Développement d'une application Big Data pou améliorer la qualité du service réseaux mobile.
  
  Contexte
  On commence par l'intégration de la base de données des utilisateurs de l'opérateur téléphonique dans HDFS, Ainsi, on réalise le stockage dans des tables Hive. Ensuite on utilise Zeppelin pour visualiser les courbes, les analyser afin d'améliorer la qualité du service réseaux.
  
  Réalisations
  Utilisation de Nifi pour intégrer les données dans HDFS.
  Construction des tables Hive.
  Visualisation des courbes avec Zeppelin.

  Environnement ​​Hive, HDFS, Zeppelin, Java, Nifi, Git.