Jihed - Consultant Ingénieur de développement Google Cloud Platform SCALA PYTHON BIG DATA

Expériences professionnelles

Cloud Big Data Engineer Janvier 2020 - Aujourd’hui
Renault Digital Paris, France
Objectif de la mission : En fin 2020 Renault a décidé de basculer le data Lake de HDP vers le cloud avec un grand défi de garder la même qualité de service auprès de nos utilisateurs et d’ adapter la solution sur le cloud, voila en gros les principales tâches que j'ai effectuées :
• Migration de 500 sources (300 Raw, 200 gold, Nifi data import, DLL Spark data-ingestion) depuis Datalake Renault Digital (Cloudera on-premise) vers GCP - Google Cloud Platform.
• Développement de traitements d’ingestion, de normalisation et de consommation des données structurées et non structurées.
• Automatisation des Processus d’ingestion de données dans BigQuery.
• Accompagner les équipes pour faciliter la migration vers le cloud de leurs services.
• Contribuer à l'implémentation et à la réalisation technique des solutions choisies.
• Développement du projet Terraform qui permet la création du plan d'exécution détaillé pour construire
l'infrastructure dans GCP (Création projet, dataset, bucket, compte service, etc.).
• Audit de projets (Python, Pyspark, etc.).
• Migration des projets de Pyspark vers script SQl (BigQuery) .
• Déploiement continue des applications (CI/CD).
• Mise en place des tableaux de bord Google Data Studio, GRAFANA (BigQuery billing , execution of DAGs,
data sources ingestion, Track and analyse GCP cost per projects, domain, services, ingestions +
consumers, volume of data hosted etc.).
• Migration/transformation des workflows Oozie en dags Airflow sur GCP Cloud Composer.
• Documentation dans Confluence de normes et bonnes pratiques.
• Assurer le support aux utilisateurs BI, Data Analyste et Scientiste à l'utilisation de la plateforme pour
l'ingestion et le traitement des données.
Environnement technique: Spark, Scala, Python, Nifi, Terraform, Pyspark, Bigquery, Airflow, dataproc,
pub/sub ,GIT/Gitlabee.
-Data Platform : Google Cloud Platform
-Methode : Agile, un scrum master qui aide le Product Owner dans ses responsabilités, ainsi il organise les
cérémonies agiles comme Le Sprint Planning,Les Daily,les Sprint Review et les groomings .

Data Engineer Big Data Mars 2019 - Décembre 2019
Renault Digital Paris, France
Objectif de la mission :
Mise en place d’un data Lake en promis sur HDP.
• Développement de traitements d’ingestion, de normalisation et de consommation des données structurées
et non structurées.
• Conception et développement des traitements Big Data (Batch/Streaming).
• Réalisation des tests unitaires, de non-régression, d’intégration et de performance - Optimisation
d’architecture des projets.
• Contrôle des flux de chargements journaliers.
• Importation de données clients, contrats, consentements, transactions issues de nombreuses sources
différentes (Oracle, MS SQL, IBM Db2, CSV/XLS, TXT) vers le cluster Hadoop (HDFS + Hive) basé sur
Cloudera CDH, en utilisant Sqoop et Spark JDBC.
• Exportation des données dans différents formats et supports (Avro, ORC, HDFS, ElasticSearch, etc.).
• Développement spécifique pour consolider et calculer des données.
• Audit de projets.
• Optimisation les requêtes SQL complexes.
• Création des batch KSH (scripts bash, fichiers de paramètre) pour l’orchestration des jobs Spark.
• Assurer le support aux utilisateurs BI, Data Analyste et Scientiste à l'utilisation de la plateforme pour
l'ingestion et le traitement des données.
• Traitement de données en temps réel via Apache Kafka ( données envoyées par les robots des usines).
• Accompagnement et support projets migrés de HDP2.5 vers HDP 2.6 .
• Maintenance et suivi d’incident des ingestions.
Environnement technique : Spark, Scala, Python, Nifi, Hadoop, Hive, HDFS, Oozie, Hue, kafka , Zeppelin,
-Data Platform (HDP), Hortonworks, Ambari, SHell Unix, IntelliJ-IDEA.
-Methode : Agile, un scrum master qui aide le Product Owner dans ses responsabilités, ainsi il organise les
cérémonies agiles comme Le Sprint Planning,Les Daily et les Sprints Review.

Lead Tech / Architecte Janvier 2013 - Décembre 2018
SOS Informatique Tunisie
Mise en place de solutions sur mesure pour divers clients tel que:
• Mettre en place une solution de gestion de la comptabilité, des finances, de la paie, des ressources
humaines et de gestion commerciale. Une solution générique qui peut être utilisée dans plusieurs domaines
d’application. L’application aujourd’hui est utilisée pour gérer une usine de fabrication du mobilier aussi pour
une usine de fabrication de la céramique.
• Encadrement dans le contexte .NET & base de données.
Environnement technique : .NET, PostgreSQL, Git, Jira.
• Mettre en place une solution de reporting sur un datalake en pilote | Spark scala.
Ce projet a permis de mieux comprendre les données en couplant plusieurs sources et générer différents
rapports et graphes qui facilitent la lecture des résultats.
Environnement technique : Spark, Scala, Spotfire Git, Jira.
• Développement de la solution « SAMA » (gestion commerciale, gestion des stocks, gestion du cabinet
médical) les modules les plus importants implémentés dans la solution SAMA: module de facturation,
planning, recherche, inventaire, statistiques, achat, vente, congé, journal.
• Gestion et réalisation de l’automatisation des procédures de livraison.
• Support client pour la résolution des anomalies.
• Configurer et administrer les sauvegardes et les archives de la base de données.
• Conception et développement des sites internet customisés.
Environnement technique : PHP, MySQL, Git, Mantis.

Septembre 2008 : Master Informatique Université de Franche Comté ( France) CTU

Depuis Septembre 2007 :
- Professeur d’informatique, lycée Étatique de Beni Khedache (Médenine).
- Animateur du club informatique au sein du lycée Beni Khedache.

Depuis Septembre 2006 jusqu’a maintenant :
-Consultant chez SOSIDEV charger par les applications des gestion et comptabilité et finance cote développement (code source en Visual Basic).
-Consultant chez THE-SOFT charger par les applications web (essentiellement coté conception et administration).
-Développeur en freelance avec l’entreprises (HNCDEV

Novembre 2006 :
Obtention du CAPES et le démarrage du formation jusqu’au fin mai 2007
Depuis Juin 2005
Développement du solution SAMA (********) (gestion commercial , gestion de stock , gestion de cabinet médecin), les modules les plus importants implémentes dans la solution SAMA : module du facturation, échéancier , recherche, inventaire , statistiques , achat , vente ,journal …
Ma solution SAMA est développée avec la langage Visual Basic et SQL Server 2000 comme base de données et je suis entrain de le commercialise

Juillet 2005
Stage au sein THE-SOFT: creation web site

Juillet 2004
Stage au sein de SOSI maintenance

Août -septembre 2004
Stage au sein de SOSI conception et développement

Autres applications en freelance
- Développement d’une l’application d’extraction des données a partir des différents type de base de donne pour la société SOCOMERE ( Grossiste vente pièces autos ) , l’application est développé en Visual Basic et base de donnés SQL SERVER 2000,
- Gestion commerciale pour l’entreprise SPS Tunisie (+216 75 630 584).
- Gestion stock pour l’entreprise vente pièces autos Mehdi (Médenine).
- Gestion immobilière pour l’entreprise Immobilier ABDOU (Tunis).
- Création de site web