Jihed - Data Analyst APACHE SPARK

Ref : 200303C002

Email vérifié

92700 COLOMBES
Développeur, Consultant (30 ans)
Totalement mobile
Freelance

Compétences

APACHE SPARK

APACHE HADOOP

SCALA

JAVA

SQL

AZURE

Expériences professionnelles

Développeur Senior Big Data:

Client «Société Générale»
Jan 2020 - aujourd'hui
Projet
Conception et mise en place d’une solution de transfert et traitement des données de hdfs vers un calculateur d'impayés pour les clients bancaires

Contexte
Développement d'une solution pour construire une vue complète sur les clients bancaires en question et alimenter cette vue à un calculateur, afin de déterminer les impayés d'un client.
Réalisations
▪ Conception technique du projet et la validation de l'architecture proposée
▪ Développement du job Spark pour homogénéiser et normaliser les données et les stocker dans des fichiers hdfs temporaires
▪ Implémentation de job Spark pour réaliser les jointures entre les tables temporaires
▪ Construction des blocs Nifi pour cristalliser les données à traiter et assurer l'alimentation du calculateur.
▪ Implémentation de la partie monitoring en utilisant ElasticSearch et Kibana
▪ Mise en Prod et assistance post prod.
Environnement Scala, Spark, Hive, Kafka, HDFS, Gitlab, Scala Test, Jenkins, Nexus, SonarQube, Nifi, Kibana, ElasticSearch.
Développeur Senior Big Data

Client «Société Générale»
Jan 2019 - aujourd'hui
Projet
Conception et mise en place d’une solution de transfert et traitement des données de hdfs vers un calculateur d'impayés pour les clients bancaires

Contexte
Développement d'une solution pour construire une vue complète sur les clients bancaires en question et alimenter cette vue à un calculateur, afin de déterminer les impayés d'un client.
Réalisations
Développement delu job Spark pour homogénéiser et normaliser les données et les stocker dans des fichiers hdfs temporaires
Implémentation de job Spark pour réaliser les jointures entre les tables temporaires
construction des blocs Nifi pour cristalliser les données à traiter et assurer l'alimentation du calculateur.
Environnement Scala, Spark, Hive, Kafka, HDFS, Gitlab, Scala Test, Jenkins, Nexus, SonarQube, Nifi.
Développeur Big Data

Client « EDF» –
Jan 2018 - Jan 2019
Projet
Conception et mise en place d’une chaîne de transfert et traitement des données de hbase vers les outils de disposition BI

Contexte
Développement d'une solution pour construire une vue complète d'un produit (commerciale, technique, maintenance, etc.) toute en appliquant les bonnes règles de gestion sur une variété de données.
Réalisations
Développement d'un job Spark pour homogénéiser les données et les stocker dans hive
Dévloppement des scripts hive pour construire le datawarhouse sur hive
Implémentation du job Spark pour l'ingestion de donées dans SQLServer
construction des vues dans SQLServer
Environnement Java, Scala, Spark, SQLServer, HBase, HDFS, Gitlab, Scala Test, Jenkins, Nexus, SonarQube.
Développeur Big Data

Projet « E-Reputation »
Jan 2017 - Jan 2018
Contexte
Collecte des données depuis les réseaux sociaux et leur transformation en un format exploitable pour permettre une vue détaillée en temps réel d’un produit ou d’un sujet d'actualité.
Réalisations
Développement de plusieurs job Spark d’acquisition des données en temps réel depuis les réseaux sociaux, les données sont directement ingérés dans des topics Kafka pour être ensuite consommées dans des jobs Spark Streaming ;
Agrégation et normalisation des données et stockage dans HDFS ;

Développement du job d’analyse sentimentale (Naive Bayes, Random Forest, K-Means) sur les données récoltées et stockage des résultat dans Elasticsearch (pour une visualisation sur Kibana).
Environnement Spark, Java, Python Kafka, HDFS, ElasticSearch, Git, Jenkins, Maven.
Stage de fin d’études

OOREDOO [Groupe Recherche et Développement] –
2016 - aujourd'hui
Projet
Développement d'une application Big Data pou améliorer la qualité du service réseaux mobile.

Contexte
On commence par l'intégration de la base de données des utilisateurs de l'opérateur téléphonique dans HDFS, Ainsi, on réalise le stockage dans des tables Hive. Ensuite on utilise Zeppelin pour visualiser les courbes, les analyser afin d'améliorer la qualité du service réseaux.

Réalisations
Utilisation de Nifi pour intégrer les données dans HDFS.
Construction des tables Hive.
Visualisation des courbes avec Zeppelin.
Environnement Hive, HDFS, Zeppelin, Java, Nifi, Git.

Études et formations

Diplôme d’Ingénieur Informatique

Ecole Nationale de Sciences de l’Informatique (ENSI), Tunisie.
2017
Admission au concours national d’entrée aux écoles d’ingénieurs

Institut préparatoire aux Etudes d’Ingénieur de Tunis (IPEIT), Tunisie
2014
Baccalauréat scientifique, Section : Mathématiques, Mention : Très Bien

Lycée Pilote Gafsa, Tunisie
2012

Autres compétences

COMPÉTENCES

Architecture
Participation à la conception, mise en place et administration de solutions Big Data.
Participation à l’administration, installation et configuration des clusters Hadoop.

Techniques
BigData : Hadoop (MapReduce, Yarn, HDFS), Spark, Hive, PIG, HBase, Kafka, SQOOP, Oozie, Nifi, Zeppelin,Hue.
Langages : Java, Scala.
Bases de données : MySQL, Casandra.
Développement web : HTML, Spring Boot, Angular 4.
Intégration continue : Jenkins, Git, Nexus, Ansible.

Langues
Anglais : Bon

Méthodologie
Agile SCRUM

Certifications
HortonWorks Certified Associate (HCA) - en cours