Au sien du pole DSI Orange France Infra/DevOps Big Data, je suis le référent technique dans une
équipe de 5 personnes pour gérer les Cluster au niveau installations des services et migration des
Plateformes aussi la mise en place d’une solution de supervision des flux en temps réel via (Grafana,
NodeEport, Prometheus, AlertManger,Portainer) dans un Cluster Docker Swarm .
2
• Déploiement des conteneurs Docker
• Administration et gestion des clusters Kafka Brokers (création des topics, rééquilibrage des
partitions)
• Administration Cloudera (CDH5)
• Migration de la plateforme vers Cloudera Express
• Support et administration Hadoop et de tous les composants (HDFS, Hive, Kafka, Grafana
Prometheus, Hue)
• Automatisation de l'infrastructure avec Ansible, scripting de création de Cluster, supervision des
serveurs, automatisation du monitoring
• Déploiement des services Grafana, Prometheus avec Ansible, Docker, Swarm
• Déploiement et configuration Ansible AWX pour les lancements de scripts
• Développement, installation et configuration des services Spark2, Flink
• Implémentation de flux d'intégration de données en mode Batch sur HDFS
• Réalisation des tests de performances Kafka.
• Fiabilité et sécurité des clients Kafka.
• Optimisation des flux de données en consommation et en production.
• Intégration et déploiement continu de microservices avec Gitlab.
• Surveillance des applications avec Prometheus.
• Charger le Cluster Pub/Sub sur GCP
• Documentation des opérations sur Confluence
• Suivi des projets au niveau chargements des données.
• Gestion des incidents N2/N3.
Contexte :
Mission dans l’équipe support pour gérer les Cluster (PROD, HOMOL, INT) au niveau installations, configurations et les
traitements des incidents coté infrastructures et les environnements Big Data.
Missions :
• Administrer les clusters et fournir un support de Niveau 3 Hortonworks : Hadoop,Hive,Yarn,Spark
• Administration de l'infrastructure Big Data avec Cloudera, Hortonworks (ambari), création de cluster,
configuration et maintenance.
• Suivi et coordination du projet avec le chef de projet, définition de la feuille de route, de l'architecture et
des spécifications, rédaction de la documentation technique.
• Support et administration de Hadoop et de tous les composants autour de HDFS tels que Hbase, Hive, Hue,
Knox
• Analyse les logs (yarn,spark) coté projets en Prod.
• Migration des données entre deux Cluster.
• Création des Boites Autosys pour les projets.
Contexte Projet 1 :
Mise en place d’un projet DATALAKE permet de stocker les fichiersdes véhicules dans Hadoop, Ces données sur Hive pour préparer la zone GOLD de DATALAKE,
Tâches effectuées:
-Récupérer et Analyser les logs produit par l’application
-Mesurer l’utilisation des ressources sur le cluster hadoop
-Transformation les tables oracle en hive.sql
-Développement des projets en intellij idea avec scala spark
-Gérer mes données
Préparation des rapports en spotfire avec mes bases en hue
Bilan Pour le projet : Analyse, ingestion, migration
Bilan individuel de compétences
Développement d’une nouvelle Architecture
-
Mission dans l’équipe support pour gérer l’environnement (les installations, les configurations et les problèmes infrastructures)Tâches effectuées:
-Administration de l'infrastructure BIG Data avec Cloudera, Hortonworks, création de clusteur, configuration et maintenance.
-Suivi et coordination du projet avec le chef de projet, définition de la feuille de route, de l'architecture et des spécifications, rédaction de la documentation technique.
-Support et administration de Hadoop et de tous les composants autour de HDFS tels que Hbase, Hive et Hue.
Automatisation de l'infrastructure, création de scripts pour la création du cluster, configuration dusystème
-Intégration d'une solution pour la sauvegarde, la surveillance, la gestion centrale, la centralisation
des journaux, l'automatisation et l'architecture à haute disponibilité à l'aide de solutions opensource.
-Intégration au cloud computing, CloudStack, Cloudplatform et CloudPortal de Citrix.
-Gestion de l’hyperviseur XenServer KVM (virsh), ESXi VMware.
-Mener de nouveaux projets sur la recherche, le Big Data et l'analyse des journaux
Bilan individuel de compétences:Développement d’une nouvelle Architecture
Intitulé du poste
Contexte Projet 2: Mission dans l’équipe support pour gérer l’environnement (les installations, les configurations et les problèmes infrastructures)
Tâches effectuées:
-Administration de l'infrastructure BIG Data avec Cloudera, Hortonworks, création de clusteur, configuration et maintenance.
-Suivi et coordination du projet avec le chef de projet, définition de la feuille de route, de l'architecture et des spécifications, rédaction de la documentation technique.
-Support et administration de Hadoop et de tous les composants autour de HDFS tels que Hbase, Hive et Hue.
-Automatisation de l'infrastructure, création de scripts pour la création du cluster, configuration du système
-Intégration d'une solution pour la sauvegarde, la surveillance, la gestion centrale, la centralisation
des journaux, l'automatisation et l'architecture à haute disponibilité à l'aide de solutions opensource.
-Intégration au cloud computing, CloudStack, Cloudplatform et CloudPortal de Citrix.
-Gestion de l’hyperviseur XenServer KVM (virsh), ESXi VMware.
-Mener de nouveaux projets sur la recherche, le Big Data et l'analyse des journaux
Bilan individuel de compétences :Développement d’une nou
velle Architecture Environnement techniqu:
Hadoop, HDFS, MapReduce, Zookeeper, Kafka, BDD Elastic, Logstach, Kibana, Kerberos,Scala AGS.
Projet 1:
Mise en place d'une architecture capable de récupérer en temps réel et de façon sécurisée les Tweets relatifs au Big data. Ces données sont transitées dans le gestionnaire de file D’attentes
Kafka et récupérées dans la suite ELK , elle - même installée dans un environnement
Hadoop
.Les données sont restituées via Kibana.Taches effectuées:
-Administrer les clusters et fournir un support de
trois niveaux : CDH5, Hadoop, HDFS, HIVE, SPARK ,OOZIE, Flume ...
-Développement d'outils d'intégration pour la grande plate
-forme de données avec des systèmes
Tiers (RDMS, systèmes de journalisation, serveurs ftp, LDAP, Kerberos ...): CDH5, Kerberos,OpenLDAP, CentOS, postgresql.
-Recherche, consultation, analyse et évaluation des besoins des
programmes du système
-Identifier les limitations technologiques et les lacunes dans les systèmes existants et les Processus associés
-Procédures et méthodes Grandes données
-Tester, déboguer, diagnostiquer et corriger les erreurs et défauts dans une progr
ammation D’applications
Intitulé du poste
Contexte Projet
Projet Déploiement d’un Cloud privé basé sur les produits VMWARE avec une application
MarketPlace pour les commandes des machines Virtuelles
Taches effectuées:
-Identifier les spécifications fonctionnelles des équipes internes
-Identifier les spécifications techniques
-Déploiement de Cloud privé basé sur les produit VMWARE
-Gestion des incidents et des changements
-Développer une application MarketPlace avec php
Bilan Pour le projet : performance
Bilan individuel de compétences
Développement d’une nouvelle compétence CLOUD Prive