Ghazouani - Développeur APACHE HADOOP

Expériences Professionnelles

Consultant : Administrateur infrastructure opérationnel Big Data | Banque de France | Depuis 09/2019
Contexte :
Mission dans l’équipe support pour gérer les Cluster (PROD, HOMOL, INT) au niveau installations, configurations et les
traitements des incidents coté infrastructures et les environnements Big Data.
Missions :
• Administrer les clusters et fournir un support de Niveau 3 Hortonworks : Hadoop,Hive,Yarn,Spark
• Administration de l'infrastructure Big Data avec Cloudera, Hortonworks (ambari), création de cluster,
configuration et maintenance.
• Suivi et coordination du projet avec le chef de projet, définition de la feuille de route, de l'architecture et
des spécifications, rédaction de la documentation technique.
• Support et administration de Hadoop et de tous les composants autour de HDFS tels que Hbase, Hive, Hue,
Knox
• Analyse les logs (yarn,spark) coté projets en Prod.
• Migration des données entre deux Cluster.
• Création des Boites Autosys pour les projets.
Environnement : hadoop ,HDFS, Hbase, ELK, Autosys, Kibana, Ambari ,hive , Redhat 7.6,Grafana

Numeryx Paris–mission chez Group Renault Paris, Décembre 2017 -en cours Intitulé du poste
:Contexte Projet 1 :
Mise en place d’un projet DATALAKE permet de stocker les fichiersdes véhicules dans Hadoop, Ces données sur Hive pour préparer la zone GOLD de DATALAKE,
Tâches effectuées:
-Récupérer et Analyser les logs produit par l’application
-Mesurer l’utilisation des ressources sur le cluster hadoop
-Transformation les tables oracle en hive.sql
-Développement des projets en intellij idea avec scala spark
-Gérer mes données
Préparation des rapports en spotfire avec mes bases en hue
Bilan Pour le projet : Analyse, ingestion, migration
Bilan individuel de compétences
Développement d’une nouvelle Architecture
Environnement technique intellij idea,Hue,Hadoop, HDFS, MapReduce, Zookeeper, Kafka, BDD Elastic, Logstach, Kibana, Kerberos,scala,SQLAGS.Group(Advanced General service)
-Tunis, Tunisie –mission chez Kaizen Data Paris,

Juin 2017/Décembre 2017 Intitulé du poste:Contexte Projet 3:
Mission dans l’équipe support pour gérer l’environnement (les installations, les configurations et les problèmes infrastructures)Tâches effectuées:
-Administration de l'infrastructure BIG Data avec Cloudera, Hortonworks, création de clusteur, configuration et maintenance.
-Suivi et coordination du projet avec le chef de projet, définition de la feuille de route, de l'architecture et des spécifications, rédaction de la documentation technique.
-Support et administration de Hadoop et de tous les composants autour de HDFS tels que Hbase, Hive et Hue.
Automatisation de l'infrastructure, création de scripts pour la création du cluster, configuration dusystème
-Intégration d'une solution pour la sauvegarde, la surveillance, la gestion centrale, la centralisation
des journaux, l'automatisation et l'architecture à haute disponibilité à l'aide de solutions opensource.
-Intégration au cloud computing, CloudStack, Cloudplatform et CloudPortal de Citrix.
-Gestion de l’hyperviseur XenServer KVM (virsh), ESXi VMware.
-Mener de nouveaux projets sur la recherche, le Big Data et l'analyse des journaux
Bilan individuel de compétences:Développement d’une nouvelle Architecture
Environnement technique:Hadoop,HDFS, MapReduce, Zookeeper, Kafka, BDD Elastic, Logstach, Kibana, Kerberos,Scala
AGS.Group(Advanced General service)
-Tunis, Tunisie –mission chez Cloudera, décembre 2016 /Juin 2017Intitulé du poste
Contexte Projet 2: Mission dans l’équipe support pour gérer l’environnement (les installations, les configurations et les problèmes infrastructures)
Tâches effectuées:
-Administration de l'infrastructure BIG Data avec Cloudera, Hortonworks, création de clusteur, configuration et maintenance.
-Suivi et coordination du projet avec le chef de projet, définition de la feuille de route, de l'architecture et des spécifications, rédaction de la documentation technique.
-Support et administration de Hadoop et de tous les composants autour de HDFS tels que Hbase, Hive et Hue.
-Automatisation de l'infrastructure, création de scripts pour la création du cluster, configuration du système
-Intégration d'une solution pour la sauvegarde, la surveillance, la gestion centrale, la centralisation
des journaux, l'automatisation et l'architecture à haute disponibilité à l'aide de solutions opensource.
-Intégration au cloud computing, CloudStack, Cloudplatform et CloudPortal de Citrix.
-Gestion de l’hyperviseur XenServer KVM (virsh), ESXi VMware.
-Mener de nouveaux projets sur la recherche, le Big Data et l'analyse des journaux
Bilan individuel de compétences :Développement d’une nou
velle Architecture Environnement techniqu:
Hadoop, HDFS, MapReduce, Zookeeper, Kafka, BDD Elastic, Logstach, Kibana, Kerberos,Scala AGS.Group(Advanced General service)
-Tunis, Tunisie –Juillet 2016,décembre 2016
Projet 1:
Mise en place d'une architecture capable de récupérer en temps réel et de façon sécurisée les Tweets relatifs au Big data. Ces données sont transitées dans le gestionnaire de file D’attentes
Kafka et récupérées dans la suite ELK , elle - même installée dans un environnement
Hadoop
.Les données sont restituées via Kibana.Taches effectuées:
-Administrer les clusters et fournir un support de
trois niveaux : CDH5, Hadoop, HDFS, HIVE, SPARK ,OOZIE, Flume ...
-Développement d'outils d'intégration pour la grande plate
-forme de données avec des systèmes
Tiers (RDMS, systèmes de journalisation, serveurs ftp, LDAP, Kerberos ...): CDH5, Kerberos,OpenLDAP, CentOS, postgresql.
-Recherche, consultation, analyse et évaluation des besoins des
programmes du système
-Identifier les limitations technologiques et les lacunes dans les systèmes existants et les Processus associés
-Procédures et méthodes Grandes données
-Tester, déboguer, diagnostiquer et corriger les erreurs et défauts dans une progr
ammation D’applications Environnement technique:
Hadoop, Cloudera, HDFS, MapReduce, Zookeeper, Kafka, BDD Elastic, Logstach, Ki
bana, Kerberos,scala
(ooredoo tunisie) 01- 02 -2016/30 -06- 2016
Intitulé du poste
Contexte Projet
Projet Déploiement d’un Cloud privé basé sur les produits VMWARE avec une application
MarketPlace pour les commandes des machines Virtuelles
Taches effectuées:
-Identifier les spécifications fonctionnelles des équipes internes
-Identifier les spécifications techniques
-Déploiement de Cloud privé basé sur les produit VMWARE
-Gestion des incidents et des changements
-Développer une application MarketPlace avec php
Bilan Pour le projet : performance
Bilan individuel de compétences
Développement d’une nouvelle compétence CLOUD Prive
Environnement technique
VFabric Director,Vcenter, Cluster, ESXi, DataCenter,php

stage : Tunisie télécom
Tunis, Tunisie Stage ingénieur Juillet 2013-Aout 2013
Réalisation d’un noeud zegbee sur la carte STM32 avec le logiciel COOCOX Environnement technique: C++

PROJETS ACADEMIQUES

2011 -2012 PFA Réalisation d’un noeud zegbee sur la carte STM32 avec le logiciel CO OCOX2011

- 2012 FORMATION SharePoint Server 2012 –IT Academy

2012 - 2013 PPE Déploiement d’un Cloud privé basé sur les produit VMware