Jihed - Consultant Ingénieur de développement Google Cloud Platform SCALA PYTHON BIG DATA
Ref : 081110E001-
92500 RUEIL-MALMAISON
-
Développeur, Consultant, Ingénieur de développement (40 ans)
-
Freelance
Expériences professionnelles
Cloud Big Data Engineer Janvier 2020 - Aujourd’hui
Renault Digital Paris, France
Objectif de la mission : En fin 2020 Renault a décidé de basculer le data Lake de HDP vers le cloud avec un grand défi de garder la même qualité de service auprès de nos utilisateurs et d’ adapter la solution sur le cloud, voila en gros les principales tâches que j'ai effectuées :
• Migration de 500 sources (300 Raw, 200 gold, Nifi data import, DLL Spark data-ingestion) depuis Datalake Renault Digital (Cloudera on-premise) vers GCP - Google Cloud Platform.
• Développement de traitements d’ingestion, de normalisation et de consommation des données structurées et non structurées.
• Automatisation des Processus d’ingestion de données dans BigQuery.
• Accompagner les équipes pour faciliter la migration vers le cloud de leurs services.
• Contribuer à l'implémentation et à la réalisation technique des solutions choisies.
• Développement du projet Terraform qui permet la création du plan d'exécution détaillé pour construire
l'infrastructure dans GCP (Création projet, dataset, bucket, compte service, etc.).
• Audit de projets (Python, Pyspark, etc.).
• Migration des projets de Pyspark vers script SQl (BigQuery) .
• Déploiement continue des applications (CI/CD).
• Mise en place des tableaux de bord Google Data Studio, GRAFANA (BigQuery billing , execution of DAGs,
data sources ingestion, Track and analyse GCP cost per projects, domain, services, ingestions +
consumers, volume of data hosted etc.).
• Migration/transformation des workflows Oozie en dags Airflow sur GCP Cloud Composer.
• Documentation dans Confluence de normes et bonnes pratiques.
• Assurer le support aux utilisateurs BI, Data Analyste et Scientiste à l'utilisation de la plateforme pour
l'ingestion et le traitement des données.
Environnement technique: Spark, Scala, Python, Nifi, Terraform, Pyspark, Bigquery, Airflow, dataproc,
pub/sub ,GIT/Gitlabee.
-Data Platform : Google Cloud Platform
-Methode : Agile, un scrum master qui aide le Product Owner dans ses responsabilités, ainsi il organise les
cérémonies agiles comme Le Sprint Planning,Les Daily,les Sprint Review et les groomings .
Data Engineer Big Data Mars 2019 - Décembre 2019
Renault Digital Paris, France
Objectif de la mission :
Mise en place d’un data Lake en promis sur HDP.
• Développement de traitements d’ingestion, de normalisation et de consommation des données structurées
et non structurées.
• Conception et développement des traitements Big Data (Batch/Streaming).
• Réalisation des tests unitaires, de non-régression, d’intégration et de performance - Optimisation
d’architecture des projets.
• Contrôle des flux de chargements journaliers.
• Importation de données clients, contrats, consentements, transactions issues de nombreuses sources
différentes (Oracle, MS SQL, IBM Db2, CSV/XLS, TXT) vers le cluster Hadoop (HDFS + Hive) basé sur
Cloudera CDH, en utilisant Sqoop et Spark JDBC.
• Exportation des données dans différents formats et supports (Avro, ORC, HDFS, ElasticSearch, etc.).
• Développement spécifique pour consolider et calculer des données.
• Audit de projets.
• Optimisation les requêtes SQL complexes.
• Création des batch KSH (scripts bash, fichiers de paramètre) pour l’orchestration des jobs Spark.
• Assurer le support aux utilisateurs BI, Data Analyste et Scientiste à l'utilisation de la plateforme pour
l'ingestion et le traitement des données.
• Traitement de données en temps réel via Apache Kafka ( données envoyées par les robots des usines).
• Accompagnement et support projets migrés de HDP2.5 vers HDP 2.6 .
• Maintenance et suivi d’incident des ingestions.
Environnement technique : Spark, Scala, Python, Nifi, Hadoop, Hive, HDFS, Oozie, Hue, kafka , Zeppelin,
-Data Platform (HDP), Hortonworks, Ambari, SHell Unix, IntelliJ-IDEA.
-Methode : Agile, un scrum master qui aide le Product Owner dans ses responsabilités, ainsi il organise les
cérémonies agiles comme Le Sprint Planning,Les Daily et les Sprints Review.
Lead Tech / Architecte Janvier 2013 - Décembre 2018
SOS Informatique Tunisie
Mise en place de solutions sur mesure pour divers clients tel que:
• Mettre en place une solution de gestion de la comptabilité, des finances, de la paie, des ressources
humaines et de gestion commerciale. Une solution générique qui peut être utilisée dans plusieurs domaines
d’application. L’application aujourd’hui est utilisée pour gérer une usine de fabrication du mobilier aussi pour
une usine de fabrication de la céramique.
• Encadrement dans le contexte .NET & base de données.
Environnement technique : .NET, PostgreSQL, Git, Jira.
• Mettre en place une solution de reporting sur un datalake en pilote | Spark scala.
Ce projet a permis de mieux comprendre les données en couplant plusieurs sources et générer différents
rapports et graphes qui facilitent la lecture des résultats.
Environnement technique : Spark, Scala, Spotfire Git, Jira.
• Développement de la solution « SAMA » (gestion commerciale, gestion des stocks, gestion du cabinet
médical) les modules les plus importants implémentés dans la solution SAMA: module de facturation,
planning, recherche, inventaire, statistiques, achat, vente, congé, journal.
• Gestion et réalisation de l’automatisation des procédures de livraison.
• Support client pour la résolution des anomalies.
• Configurer et administrer les sauvegardes et les archives de la base de données.
• Conception et développement des sites internet customisés.
Environnement technique : PHP, MySQL, Git, Mantis.
Septembre 2008 : Master Informatique Université de Franche Comté ( France) CTU
Depuis Septembre 2007 :
- Professeur d’informatique, lycée Étatique de Beni Khedache (Médenine).
- Animateur du club informatique au sein du lycée Beni Khedache.
Depuis Septembre 2006 jusqu’a maintenant :
-Consultant chez SOSIDEV charger par les applications des gestion et comptabilité et finance cote développement (code source en Visual Basic).
-Consultant chez THE-SOFT charger par les applications web (essentiellement coté conception et administration).
-Développeur en freelance avec l’entreprises (HNCDEV
Novembre 2006 :
Obtention du CAPES et le démarrage du formation jusqu’au fin mai 2007
Depuis Juin 2005
Développement du solution SAMA (********) (gestion commercial , gestion de stock , gestion de cabinet médecin), les modules les plus importants implémentes dans la solution SAMA : module du facturation, échéancier , recherche, inventaire , statistiques , achat , vente ,journal …
Ma solution SAMA est développée avec la langage Visual Basic et SQL Server 2000 comme base de données et je suis entrain de le commercialise
Juillet 2005
Stage au sein THE-SOFT: creation web site
Juillet 2004
Stage au sein de SOSI maintenance
Août -septembre 2004
Stage au sein de SOSI conception et développement
Autres applications en freelance
- Développement d’une l’application d’extraction des données a partir des différents type de base de donne pour la société SOCOMERE ( Grossiste vente pièces autos ) , l’application est développé en Visual Basic et base de donnés SQL SERVER 2000,
- Gestion commerciale pour l’entreprise SPS Tunisie (+216 75 630 584).
- Gestion stock pour l’entreprise vente pièces autos Mehdi (Médenine).
- Gestion immobilière pour l’entreprise Immobilier ABDOU (Tunis).
- Création de site web
COMPÉTENCES
Développement logiciel :
Maîtrise très bien le Visual Basic : développement des solutions (gestion commercial …)
Bonne connaissance en C++, java et J2EE, DBASE, FOXBASE
Développement de logiciels avec l’architecture Client Serveur
Développement WEB :
Maîtrise très bien PHP : Développement de sites Web dynamiques, et statiques.
Maîtrise technologie AJAX
Maîtrise très bien Java Script : Intégration des codes Java Script pour la création des sites Web et quelques Scripts tels que (What You See Is What You Get)
Maîtrise très bien HTML : balises, CSS, .
SGBD :
MySQL : Maîtrise du langage MySQL
Oracle : Administration et configuration sous différente plateforme (Windows NT, Linux red hat 10…)
SQL Server : Maîtrise PL/SQL, Administration et configuration sous Windows NT
Access : Maîtrise des bases Access
Réseaux :
Internet : Installation et configuration sous les environnements Windows et Linux, ADSL, RTC
Wifi : Installation, configuration et sécurité des Réseaux Wifi
LAN : Configuration du réseau local sous Windows ainsi que sous Linux, avec tout type de partages logiciels ou matériels
Routeurs : Connaissances basiques en matière de routeurs Cisco
Administration : Administration des réseaux (stratégie de sécurité, profils, notion d’Admin et utilisateur, restrictions), notions de base en Active directory
Sécurité : Sécurité des réseaux contre tout type d’attaques (Denied Of Service, Buffer Over Flow)
Serveurs Web : Installation, configuration et administration de serveurs WEB, PABX
Installation et configuration d’un Serveur DNS sous Linux (BIND), d’un serveur FTP, d’un serveur de messagerie (Sendmail et Qmail).
Plate forme :
LINUX : bonne connaissance du Shell et bonne manipulation sur les distributions FEDORA, Ubunto, Cnopix … : partage, gestion utilisateur, sécurité, droit d’accès …
Windows : administration sous les version NT, partage, création des domaines, gestion utilisateurs, droit d’accès …
Maintenance :
Maintenance du matériel Informatique : Installation et réparation des problèmes relatifs au fonctionnement d’un micro-ordinateur.
Maintenance software : Installation et configuration de systèmes d’exploitation Windows avec toutes ses versions et la majorité des distributions Linux. Installation et maintenance des logiciels.
Assemblement des ordinateurs.
Autre :
Maîtrise des outils bureautiques : Microsoft Word, Microsoft Excel, Microsoft PowerPoint
Diplômes et formations
2020 Certification Google Cloud Data (coursera)
2019 Certification Big Data Essentials: HDFS, MapReduce, and Spark RDD (coursera)
2016 Formation BigData, Centre de formation POLYTECHNIQUE, Tunisie, Gabès
• Administration Hadoop (HortonWorks)
• Hadoop développement Java
2011 Formation .NET, Centre de formation POLYTECHNIQUE, Tunisie, Gabès.
• Webservices, Windows Forms
• Framework et fonctionnalités avancées
2002 : Bac Mathématique
2006 : Maîtrise informatique appliquée à la gestion (institut supérieur de gestion de Gabès, Tunisie)
Préparation à la certification J2EE et LINUX 1 ère et 2 ème niveau
Langue : Arabe : lu, écrit et parlé
Français : lu, écrit et parlé
Anglais : lu écrit et parlé
Allemand : lu, écrit et parlé ( moyen)