Karim - Consultant technique APACHE HADOOP

Ref : 200219S002
Photo de Karim, Consultant technique APACHE HADOOP
Compétences
APACHE HADOOP
HDFS
APACHE HIVE
APACHE KAFKA
SHELL UNIX
Expériences professionnelles
  • Admin BigData DevOps

    BNP Parribas
    Jan 2020 - aujourd'hui

    Contexte : Build & automatisation de la plateforme hadoop HDP/CDP
    ❏ Evaluer la pertinence de l’utilisation de certaines technologies dans le contexte du client
    ❏ Réaliser des POCs (Proof Of Concept) permettant de :
    Valider la faisabilité, l’intégration et les performances de briques applicatives de(s)
    solutions(s) envisagée(s) par l’architecture technique pour répondre aux besoins
    spécifiques client
    ❏ Etudier et tester des nouvelles briques technologiques afin de valider leurs applications
    dans le contexte Big Data
    ❏ Être le référent technique pour une équipe de production
    ❏ Participer à la validation et à l’évolution de l’architecture technique de la plateforme
    ❏ Participer à la qualité des livraisons ainsi qu’à leur déploiement sur les environnements de
    production.
    ❏ Installation des nouveaux clusters Hadoop (HDP ou CDP)
    ❏ Automatisation d’installation via ansible
    ❏ Développement des scripts d’exploitation (shell, python)

  • Consultant admin hadoop BigData/DevOps

    Bouygues Construction
    Jan 2019 - aujourd'hui

    Contexte : Administration & exploitation de la plateforme hadoop Build/Run
    • BUILD :
    ❏ Architecture :
    - Contribution à l’élaboration des dossiers d’architecture
    ❏ Accompagnement des nouveaux clients sur la plateforme:
    - Respect des exigences de sécurité via des politiques dans RANGER & openldap
    - Respect des règles de la data gouvernance via ATLAS
    - Accompagnement dans le partage des ressources cluster via YARN
    ❏ Optimisation des ressources :
    - Définition et dimensionnement des queues YARN
    - Fine tuning du service Zeppelin
    ❏ Intégration :
    - Nouveaux composants dans la plateforme Big Data (Injection, Librairie python, etc.)
    - Formalisation de l’expression de besoin lié à la sécurité et à la gouvernance
    - Étude et validation de nouvelles fonctionnalités DevOps (Docker, DEV, PREPROD)
    - Préparation des mises en production (validation pré production, rédaction du mode
    opératoire)
    ❏ Supervision :
    - Identification des métriques les plus pertinents (Hortonworks, Kafka, Elasticsearch, Azure
    Virtual Machine, Azure Data Lake Store,Définition des seuils)
    - Intégration des métriques dans l’outil Centreon de la DSI
    ❏ Industrialisation :
    - Automatisation des sauvegardes : shell et crontab
    - Gestion des logs : rotate (log4j), purge (cron)
    - DevOps : déploiement des applications métiers : git, Ansible
    ❏ Agile :
    - Contribution à l’alimentation du backlog sous JIRA
    - Planification des users stories à embarquer dans chaque Sprint
    - Définition et estimation des users stories
    ● RUN :
    ❏ Support de production et 3 de Kafka, ELK , Hadoop et Azure
    ❏ Accompagnement des nouveaux utilisateurs : usage des outils, bonne pratique
    ❏ Réalisation des mises en production (communication, implémentation, compte rendu)
    ❏ Suivi de la consommation des ressources (anticipation de la scalabilité horizontal et
    vertical)
    ❏ Compte rendu mensuel : KPI, faits marquants, nouvelles fonctionnalités, nouveaux
    clients
    ❏ Rédaction des fiches de consigne
    ❏ Rédaction des gestes de MCO

  • Intégrateur référent Big Data

    Société Générale
    Jan 2018 - Jan 2019

    Contexte : Migration projet SG/ASSU IBM BigInsight vers HDP 2.6
    • Migration de la plateforme ASSU (BigInsight) vers HDP (Transfert de données, Bases Hive,
    Jobs de traitement batch & temp réel)
    • Déploiement des nouveaux projets (Création Arbo HDFS, Table Hive, Jobs Spark)
    • Développement des solutions automatisées pour remplacer les actes récurrents
    • Administration et monitoring du cluster (HDFS, Queues YARN)
    • Déploiement et paramétrage des composants métiers
    • Assurer la disponibilité et la performance des plateformes de production.
    • Mise en place de système de surveillance sur Nagios.
    • Industrialisation, optimisation des processus & documentation (DEVOPS)
    • Interventions sur les demandes de support techniques complexes N3
    • Définition des architectures dans le cadre des nouveaux projets

  • Formation Consultant Big Data

    Fitec
    Jan 2018 - Jan 2018

    Contexte : Réalisation d’une plate forme d’aide à la décision pour les promoteurs immobilier
    • Conception d’une plateforme basée sur des technologies Big Data (Hadoop, HDFS, NoSQL,
    Spark, Kafka …)
    • Installation et déploiement d’un cluster HortonWorks 2.6 sur AWS
    • Administration du cluster via Ambari
    • Installation d’un cluster MongoDB avec sharding et replica Set
    • Collecte et stockage de données (Scraping) dans un Datalake
    • Intégration des données (Talend)
    • Analyse, traitement de données (Spark) et visualisation (Tableau)

  • Chef de projet Applicatif

    Ekino
    Jan 2015 - Jan 2017

    Contexte : Support N2, N3 sur l'ensemble des applications Front, Back et Mobile du Groupe
    Renault (30 pays).
    • Gestion de projets liés aux besoins clients en production (Analyse, investigation et résolution
    des incidents).
    • Gestion des évolutions, rédaction des devis et suivi des correctifs.
    • Rédaction des spécifications fonctionnelles.
    • Rédaction du cahier de recette et exécution des de test de non régression.
    • Organisation et suivi du déploiement des releases en collaboration avec les équipes DEV.
    • Administration du backoffice (paramétrage, CMS, flux de données, WebServices).
    • Contrôle et suivi du projet (communication, reporting, remontée des alertes…).
    • Organisation des réunions hebdomadaire et présentation des KPI.
    • Organisation du plan de charge.
    • Formations des équipes support N1.
    • Mise à jour et validation de la documentation utilisateurs.

  • Consultant support IT

    Europcar International
    Jan 2014 - Jan 2015

    Contexte : Gestion d’un parc informatique de 600 utilisateurs.
    • Gestion des postes de travail (Windows, Mac, Linux).
    • Déploiement d’applications via GPO.
    • Traitement des incidents N2 (Windows, Mac OS, Office et Applications internes).
    • Gestion de l’Active Directory (Création de comptes, Modification, Droits d’accès).
    • Gestion de la messagerie & Google Apps (Gmail, Agenda, Drive).
    • Gestion des terminaux mobiles (Android, IOS).
    • Gestion des accès VPN via SafeNet.
    • Support utilisateurs VIP.

  • Ingénieur support applicatif

    Ingeniway
    Jan 2011 - Jan 2014

    Contexte : Intégration d’une application ERP pour nos clients.
    • Déploiement des produits ERP chez le client et suivi de mises à jour.
    • Traitement des incidents N2.
    • Formation client et garantir la bonne utilisation des outils.
    • Plans d'action destinés à améliorer la stabilité des solutions.
    • Test et validation des release avant la mise en production.
    • Reporting feedback clients et suivi de correction de bugs.
    • Rédaction des procédures interne.

Études et formations
  • ZENIKA KAFKA : Confluent Administration

    2019
  • Hortonworks HDPCA Administrator (Certification N° 4udo3z2wbvh8)

    2019
  • Google NL Data Engineering on Google Cloud Platform

    2018
  • Fitec Consultant Big data (Certification N° 3067)

    2018
  • Master II Electronique - Télécom

    Université USTO
    2011
Autres compétences
Autres compétences

2005 - Lycée M. A
Baccalauréat Scientifique

Langues
Anglais - Professionnel

Compétences
Administration Hadoop : Hortonworks HDP, Cloudera, Ambari, HDFS, YARN, Zookeeper, Mapreduce
Outils Big Data : Hbase, Hive, Impala, Oozie, Spark, Kafka, Atlas, Talend, ElasticSearch, Kibana, Flume, Sqoop, Pig,
Jupyter,Zeppelin, Nagios, Hue, Splunk, Grafana
Réseaux & Sécurité : SSH, LDAP, Knox, Ranger, Kerberos
Base de données : Oracle SQL, MySQL, MongoDB, Postgre SQL
Langages : PHP, Python, Java, Scala, C++, HTML/CSS, Shell, Batch, JavaScript
Systèmes d’Exploitation : Windows 7/8/10, Linux Ubuntu/RedHat/CentOS, MacOS
DevOps : Git, Docker, Ansible, Jenkins,
Cloud :AWS, Google CLoud, Azure

D'autres freelances
Consultant technique APACHE HADOOP

Ces profils pourraient vous intéresser !
CV Data engineer
Alain

Data engineer

  • PARIS
SQL PYTHON Google Cloud Platform APACHE SPARK TALEND SSIS APACHE HADOOP HASHICORP TERRAFORM ANSIBLE BIG DATA
Disponible
CV Architecte Technique Data
Ben Afia

Architecte Technique Data

  • MASSY
APACHE HADOOP APACHE HBASE APACHE KAFKA KERBEROS ACTIVE DIRECTORY ELASTICSEARCH ORACLE Kubernetes
Disponible
CV Consultant technique Cloudera
Falaye

Consultant technique Cloudera

  • HERBLAY
Cloudera APACHE HADOOP APACHE SPARK APACHE HIVE ATLAS KERBEROS ANSIBLE GIT APACHE HBASE COUCHBASE
Disponible
CV Tech Lead / Architecte
Khaled

Tech Lead / Architecte

  • PARIS
JAVA SQL J2EE SCALA BIG DATA APACHE KAFKA APACHE SPARK APACHE HADOOP
CV Big Data / Python engineer
Laurent

Big Data / Python engineer

  • CAMBERNARD
SQL DATA PYTHON MONGODB BIG DATA Google Cloud Platform JAVA APACHE HADOOP APACHE SPARK DOCKER
Disponible
CV data engineer
Haythem

data engineer

  • VIGNEUX-SUR-SEINE
SQL PYTHON PYSPARK APACHE HADOOP JAVA AMAZON AWS Google Cloud Platform
CV Développeur SQL
Mayssa

Développeur SQL

  • PARIS
SQL C SHARP JAVA APACHE HADOOP BIG DATA SCALA APACHE SPARK APACHE KAFKA PYSPARK
CV Data Engineer
Hatem

Data Engineer

  • FONTENAY-AUX-ROSES
APACHE HADOOP APACHE SPARK SCALA NoSQL SHELL UNIX SQL Cloud AWS AZURE JENKINS MAVEN
CV DevOps LINUX
Toky

DevOps LINUX

  • PARIS
LINUX BIG DATA DEVOPS Cloud AWS APACHE HADOOP APACHE KAFKA ELK DOCKER Kubernetes
CV Data Analyst PYTHON
Ibrahim

Data Analyst PYTHON

  • ARGENTEUIL
PYTHON Jupyter WINDOWS Microsoft Power BI APACHE HADOOP APACHE SPARK UNIX BI EXCEL