Missions Développeur Hadoop Cloudera : De nombreuses offres déposées chaque jour

Exemple de missions de Mory,
Développeur Hadoop Cloudera habitant la Seine-Saint-Denis (93)

EXPE R I E N C ES

SAINT GOBAIN
Défense, Septembre 2021 – Aujourd’hui
Data Architect Big Data et Lead project GIM Placo Isover et Glass Industry

Au sein du centre de compétences Big Data, dans un environnement Cloudera et en relation avec les équipes techniques,
j’étais en support client/métier sur la mise en place de solutions techniques.
➢ Recueil des besoins, études du projet, proposition d'architecture et Design solutions du projet client
➢ Accompagnement et Lead data des équipes data Engineer, Onboarding des nouveaux projets
➢ Formation sur ouvertures des flux PSAT
➢ Review des jobs développés, audit et optimisation des jobs
➢ Automatisation des jobs via script Shell ou oozie
➢ Support clients, Support BD4SG cluster Cloudera et Support incidents
➢ Upgrade du cluster Cloudera du projet Industrie
➢ Maquette de migration Cloudera vers Azure
➢ Mise en place des pipelines de collecte de data Gim
➢ Mise en place des Connexions entre Self Host Intégration Runtime et l’outil Salesforce, Necplus et Pardot
➢ Mise en place de la connexion entre snowflake PowerBI pour le projet Gim Marketing
➢ Création Dashboard PowerBI
➢ Documentation sur la connexion aux data sources (Necplus, Pardot et Salesforce)
➢ Migration data Lake Cloudera vers Plateforme data (Azure)
➢ Accompagnement Migration SGDBF vers Azure
➢ Décommissionnement des clusters
➢ Création des plateformes Azure (souscriptions, ressources groups et ressources)
➢ Création & Migration des Self Host Intégration Runtime
➢ Onboarding des équipes data sur Azure data plateforme
➢ Création et gestion des SPN, Gestion des RBAC
➢ Centralisation des logs avec Azure logs Analytics
➢ Standardisation, Automatisation et Déploiement des plateformes
➢ Mise en place des Template pour la création des plateformes
Méthodes & Outils de management
➢ Ticketing
➢ Agile (Scrum), Jira, Confluence, smartsheet
➢ Points techniques hebdomadaire inter équipes
➢ Daily d'équipe et sprint meeting
Les livrables attendus :

➢ Schéma d'architecture
➢ Template des services et composants
➢ Documentation technique
➢ Analyser les incidents : rédaction des Post Mortem
➢ Gestion des Workshops
➢ Planification et animation des sprint et daily

Environnement technique : CDP, HDP, HDFS, Hive,Spark, Notebook,Sentry,Ranger, Kerberos, Oozie, Yarn,Talend, Control-M,
Azure: ADF, Synapse, SQL database, keyvault, Self Host Integration Runtime Shir, HQL, SQL, ActivDirectory,
Terraform,Ansible,PowerShell, Bash Shell, Salesforces, snowflake,Networking,

SG Banque Société Générale
Val de Fontenay, Février 2019 – Juillet 2021
Intégrateur et lead projet GTPS et BDDFPAY
➢ Mise en place des traitements applicatifs nécessaires à l’alimentation et l’émission de données batch ou en streaming sur la
plateforme Big Data
➢ Surveiller, alerter et remédier aux incidents sur les collectes des projets (en mode batch ou streaming)
➢ Configuration et optimisation des scripts applicatifs
➢ Configuration des outils de restitution (paramétrages), gestion des habilitations
➢ Assurer la livraison des développements en production
➢ Assurer le RUN des projets passés en homologation et en production
➢ Traiter les incidents et remises en service dans les meilleurs délais
➢ Réaliser les Morning-checks des applications, et les astreintes éventuelles sur les mises en production critiques
➢ Mise en œuvre les actions correctives à court et moyen terme
➢ Mise en place des bonnes pratiques de gestion des infrastructures et de livraisons/déploiements de manière à minimiser les
risques de production
➢ Travaux internes de l'entité des intégrateurs, et aux workshops du domaine.
➢ Intégrer complétement la démarche DevOps CI/CD sur les projets Big Data, en contribuant à l'élaboration des solutions
applicables à l'écosystème.
➢ Scripting
➢ Automatisations en s'appuyant sur Ansible
DevOps
➢ Mise en place de la chaine CICD
➢ Mécanisme de déclanchement automatique des batches avec le service Control-M
➢ Monitoring et analyse performance avec Nagios et Control-M
➢ En support des tests de performance des services
Méthodes & Outils de management
➢ Ticketing
➢ Agile (Scrum), Jira, Confluence
➢ Point technique Dev pour des Alternative Dispute Resolution (ADR)
➢ Points techniques hebdomadaire inter équipes
Les livrables attendus :

➢ Effectuer le Morning-Check quotidien
➢ Remonter les Alertes
➢ Déployer des applications et des composants applicatifs planifiés
➢ Analyser les incidents et les remédier
➢ Amélioration continue des procédures de gestion des environnements (legacy et devops CI/CD)
➢ Gestion des Workshops
Environnement technique : HDP, HDFS, Hive, Pig, Spark, Notebook, Ranger, Kerberos, Oozie, Yarn, Hbase, Talend, Control-M,
TOM

RTE Réseau des Transport d’Électricité
Défense, Octobre 2018 – Janvier 2019
Administrateur Big Data
➢ Administrer et consolider le cluster Hadoop Cloudera pour les tests d’ingénierie.
➢ Proposer un mode d’industrialisation permettant aux développeurs d’avoir une installation clé en main
(VM, intégration DevOps des développements, supervision des jobs …)
➢ Apporter son expertise pour contribuer à définir l’architecture cible du paysage complet des clusters
Hadoop.
➢ Collaborer avec l’équipe d’exploitation sur les questions de performances, d’organisation de
l’administration et de supervision des clusters.
➢ Contribuer aux travaux d’ingénierie (kerberos, authentification, edge node, …)
➢ Contribuer aux travaux d’analyse et de suivi des performances des clusters (Cloudera Manager, Cloudera
navigator, formats parquet/avro …)
➢ Contribuer activement aux installations de maquettes, analyse, rex et production de la documentation pour
passage sur instances de Recette/Dev puis PRA/Production.
➢ Faire monter en compétence les équipes RTE sur la distribution Cloudera et les bonnes pratiques
d’administration et de développement.
Environnement technique : CDH5.15, HDFS, Hive, Pig, Spark, Notebook, Sentry, Kerberos, Oozie, Zookeeper,
Yarn, Hbase, Dataiku, Qlick

BPCE-IT BANQE POPULAIRE ET CAISSE D’EPARGNE
Paris –Juillet 2017 – Octobre 2018
Administrateur et Intégrateur Big Data
Conception et développement from scratch
Projet de conception, d’installation, de configuration des clusters Horton Works et de support technique pour les clients
Conception
➢ Etude de faisabilité des besoins et mise en place d’un PoC
➢ Mise en place de la stratégie de la migration de bases existantes
➢ Rédaction de document de conception détaillée
➢ Découpage des documents de spécification fonctionnelles en plusieurs lots
Développement
➢ Mise en place d’ateliers sur les best practice HORTONWORKS
➢ Participation à la mise en place des serveurs principaux du « cœur Hadoop » de production
➢ Mise en place de la Haute Disponibilité
➢ Participation aux travaux de mise en place de sécurisation de la plateforme (Kerberos, Ranger, Knox)
➢ Participation aux travaux de mise en place de tableaux de bord pour la supervision et le capacity planning
➢ Définition et mise en place des dispositifs de sauvegardes
➢ Accompagnement des équipes d’exploitation
➢ Prise en compte des demandes de support N2 et N3, en liaison avec Horton Works le cas échéant
➢ Sécurisation des clusters en SSL et Https
Management
➢ Planification des campagnes de recettes client
➢ Supervision des installations chez le client
➢ Suivi et support des recettes fonctionnelles chez le client
➢ Validation des bugs remontés par le client et planification des correctifs
➢ Point technique entre Devs
Environnement et Outils : HDP-6.3.0, Ambari-5.3.2, Ambari-6.2.0, HDFS, Hive, Pig, Spark, Zeppelin, Knox, Ranger,
Kerberos, Atlas, Oozie, Zookeeper, Yarn, Hbase, Logstach, Grafana

SILCA BANQUE CREDIT AGRICOLE
Paris, Guyancourt Janvier 2016 – Juin 2017
Administrateur Big Data
Conception et développement from scratch :
Conception
➢ Etude de faisabilité des besoins et mise en place d’un PoC
➢ Mise en place de la stratégie de la migration de bases existantes
➢ Rédaction de document de conception détaillée
➢ Découpage des documents de spécification fonctionnelles en plusieurs lots
➢ Rédaction du manuel d’utilisation des outils
Développement
➢ Mise en place d’ateliers sur les best practises MapR
➢ Création des volumes MapR
➢ Sécurisation de données sur MapR
➢ Mise en place de MapR Client, NFS loopback
➢ Automatisation des tâches avec Ansible
➢ Utilisation de Git pour la gestion version
➢ Utilisation de Jenkins pour le déploiement des configurations
➢ Management des users, data et clusters
➢ Monitoring des clusters et gestion des ressources des clusters
➢ Installation et configuration des clusters
➢ Installation et configuration des service Big Data
➢ Conception de topologie des clusters
➢ Support technique sur les clusters big data
➢ Monitoring des services
➢ Développement sur les outils : Hive, MapR Db, Drill, Spark
Environnement et Outils : MapR 5.2, MapR-FS, MaR-DB, HBase, MapRLogin, Drill Java, Jenkins, Git, Ansible, YAM, Open Stack

Ministère des Finances France
Paris, Avril 2015 – Janvier 2016
Développeur Big Data Mise en œuvre d’indexe Géo spatial dans un contexte Big Data
Conception et développement :
➢...