Issam - Chef de projet BIG DATA
Ref : 160211B002-
92600 ASNIERES
-
Chef de projet, Consultant (42 ans)
-
Freelance
Mars 2017 – Janvier 2018
ORANGE Tunisie (prestation Formafast Consulting)
Développeur Hadoop/Spark
• Audit de l'environnement Big Data d’Orange Tunisie, Etude et mise en place d’une architecture sur la plateforme Cloudera.
• Mise en place du traitement des flux télécom de bout en bout (transformation, enrichissement, agrégation, sauvegarde dans Hive) avec Apache Spark.
• Cron des jobs Spark et Pig avec Apache Oozie.
• Préparation d'un dossier de tunning pour Apache Hbase et Apache Spark sous l'environnement Cloudera.
• Traitement et indexation des flux télécom avec spark streaming (SCALA) et analyse en temps réel avec Elastic stack (Elasticsearch, kiabana)
• Intégration et configuration du plugin x-pack monitoring sur le cluster Elastic composé de 3 masters (1go Heap), 5 data nodes (8Go Heap) et 1 kibana.
Septembre 2016 – Février 2017
Formafast Consulting
Développeur Hadoop/Spark
• Transformation des scripts Pig avec Spark.
• Indexation et filtration des logs avec Logstash.
• Customisation des (mapping) indexes sur Elasticsearch, configuration et analyse des rapports avec Kibana.
• Développer des programmes, PIG, Hive pour nettoyer et filtrer les données,
• Stockage sur HDFS.
• Responsable du spooling des données vers HDFS en utilisant Sqoop et Flume.
• Installation et administration d’Apache Hbase.
• Création de tableaux HIVE partitionnés et exécution de requêtes analytiques.
• Documentation des processus et des procédures.
COMPETENCES TECHNIQUES
Hadoop Ecosystem : HDFS, Cloudera, YARN, Apache Oozie, Apache Zookeeper, Kerberos, Apache Sentry
Traitement de données : Apache Spark (RDD, SparkSQL, UDF, Spark Streaming, SparlMlLi), Apache Pig: Pig Latin, UDF
Ingestion de données : Apache Flume, Apache SQOOP, Apache Kafka, Apache Camel
Base de données : Apache Hbase, Apache Hive, MySql
Moteur de recherche : ElasticSearch (Elastic stack), Apache Lucene
Développement : Scala, Java, Python, PHP, JavaScript
Système d'exploitation : Redhat, CentOS, Ubuntu, Windows
FORMATIONS
2016 Mastère de recherche en données, connaissances et systèmes distribués.
Faculté de Jendouba (Tunisie)
Système distribué, Système parallèle, Base de données géographique (SIG), Conception système d'information (méthode scrum), Génie logiciel, Meta-Heuristique, Apprentissage artificiel, SOA.
2013 Mastère Professionnel commerce électronique
Faculté de Jendouba
Optimisation de site, Développent web, Gestion de projets Internet, E-mail marketing, CRM, Datamining, Datawarehouse, IHM, Architecture logicielle, UML, Base de données avancée
2011 Licence fondamentale en informatique appliquée à la gestion
Faculté de Jendouba
Programmation orientée objets, Algorithmique, Base de données, UML, MERISE, Marketing, Macro/Microéconomie, Gestion, Architecture réseau