Missions Développeur Hadoop Cloudera : Trouvez votre prochain poste en indépendant

Exemple de missions de Mory,
Développeur Hadoop Cloudera habitant la Seine-Saint-Denis (93)

EXPE R I E N C ES

SAINT GOBAIN
Défense, Septembre 2021 – Aujourd’hui
Data Architect Big Data et Lead project GIM Placo Isover et Glass Industry

Au sein du centre de compétences Big Data, dans un environnement Cloudera et en relation avec les équipes techniques,
j’étais en support client/métier sur la mise en place de solutions techniques.
&#10146 Recueil des besoins, études du projet, proposition d'architecture et Design solutions du projet client
&#10146 Accompagnement et Lead data des équipes data Engineer, Onboarding des nouveaux projets
&#10146 Formation sur ouvertures des flux PSAT
&#10146 Review des jobs développés, audit et optimisation des jobs
&#10146 Automatisation des jobs via script Shell ou oozie
&#10146 Support clients, Support BD4SG cluster Cloudera et Support incidents
&#10146 Upgrade du cluster Cloudera du projet Industrie
&#10146 Maquette de migration Cloudera vers Azure
&#10146 Mise en place des pipelines de collecte de data Gim
&#10146 Mise en place des Connexions entre Self Host Intégration Runtime et l’outil Salesforce, Necplus et Pardot
&#10146 Mise en place de la connexion entre snowflake PowerBI pour le projet Gim Marketing
&#10146 Création Dashboard PowerBI
&#10146 Documentation sur la connexion aux data sources (Necplus, Pardot et Salesforce)
&#10146 Migration data Lake Cloudera vers Plateforme data (Azure)
&#10146 Accompagnement Migration SGDBF vers Azure
&#10146 Décommissionnement des clusters
&#10146 Création des plateformes Azure (souscriptions, ressources groups et ressources)
&#10146 Création & Migration des Self Host Intégration Runtime
&#10146 Onboarding des équipes data sur Azure data plateforme
&#10146 Création et gestion des SPN, Gestion des RBAC
&#10146 Centralisation des logs avec Azure logs Analytics
&#10146 Standardisation, Automatisation et Déploiement des plateformes
&#10146 Mise en place des Template pour la création des plateformes
Méthodes & Outils de management
&#10146 Ticketing
&#10146 Agile (Scrum), Jira, Confluence, smartsheet
&#10146 Points techniques hebdomadaire inter équipes
&#10146 Daily d'équipe et sprint meeting
Les livrables attendus :&#8232
&#10146 Schéma d'architecture
&#10146 Template des services et composants
&#10146 Documentation technique
&#10146 Analyser les incidents : rédaction des Post Mortem
&#10146 Gestion des Workshops
&#10146 Planification et animation des sprint et daily

Environnement technique : CDP, HDP, HDFS, Hive,Spark, Notebook,Sentry,Ranger, Kerberos, Oozie, Yarn,Talend, Control-M,
Azure: ADF, Synapse, SQL database, keyvault, Self Host Integration Runtime Shir, HQL, SQL, ActivDirectory,
Terraform,Ansible,PowerShell, Bash Shell, Salesforces, snowflake,Networking,

SG Banque Société Générale
Val de Fontenay, Février 2019 – Juillet 2021
Intégrateur et lead projet GTPS et BDDFPAY
&#10146 Mise en place des traitements applicatifs nécessaires à l’alimentation et l’émission de données batch ou en streaming sur la
plateforme Big Data
&#10146 Surveiller, alerter et remédier aux incidents sur les collectes des projets (en mode batch ou streaming)
&#10146 Configuration et optimisation des scripts applicatifs
&#10146 Configuration des outils de restitution (paramétrages), gestion des habilitations
&#10146 Assurer la livraison des développements en production
&#10146 Assurer le RUN des projets passés en homologation et en production
&#10146 Traiter les incidents et remises en service dans les meilleurs délais
&#10146 Réaliser les Morning-checks des applications, et les astreintes éventuelles sur les mises en production critiques
&#10146 Mise en œuvre les actions correctives à court et moyen terme
&#10146 Mise en place des bonnes pratiques de gestion des infrastructures et de livraisons/déploiements de manière à minimiser les
risques de production
&#10146 Travaux internes de l'entité des intégrateurs, et aux workshops du domaine.
&#10146 Intégrer complétement la démarche DevOps CI/CD sur les projets Big Data, en contribuant à l'élaboration des solutions
applicables à l'écosystème.
&#10146 Scripting
&#10146 Automatisations en s'appuyant sur Ansible
DevOps
&#10146 Mise en place de la chaine CICD
&#10146 Mécanisme de déclanchement automatique des batches avec le service Control-M
&#10146 Monitoring et analyse performance avec Nagios et Control-M
&#10146 En support des tests de performance des services
Méthodes & Outils de management
&#10146 Ticketing
&#10146 Agile (Scrum), Jira, Confluence
&#10146 Point technique Dev pour des Alternative Dispute Resolution (ADR)
&#10146 Points techniques hebdomadaire inter équipes
Les livrables attendus :&#8232
&#10146 Effectuer le Morning-Check quotidien
&#10146 Remonter les Alertes
&#10146 Déployer des applications et des composants applicatifs planifiés
&#10146 Analyser les incidents et les remédier
&#10146 Amélioration continue des procédures de gestion des environnements (legacy et devops CI/CD)
&#10146 Gestion des Workshops
Environnement technique : HDP, HDFS, Hive, Pig, Spark, Notebook, Ranger, Kerberos, Oozie, Yarn, Hbase, Talend, Control-M,
TOM

RTE Réseau des Transport d’Électricité
Défense, Octobre 2018 – Janvier 2019
Administrateur Big Data
&#10146 Administrer et consolider le cluster Hadoop Cloudera pour les tests d’ingénierie.
&#10146 Proposer un mode d’industrialisation permettant aux développeurs d’avoir une installation clé en main
(VM, intégration DevOps des développements, supervision des jobs …)
&#10146 Apporter son expertise pour contribuer à définir l’architecture cible du paysage complet des clusters
Hadoop.
&#10146 Collaborer avec l’équipe d’exploitation sur les questions de performances, d’organisation de
l’administration et de supervision des clusters.
&#10146 Contribuer aux travaux d’ingénierie (kerberos, authentification, edge node, …)
&#10146 Contribuer aux travaux d’analyse et de suivi des performances des clusters (Cloudera Manager, Cloudera
navigator, formats parquet/avro …)
&#10146 Contribuer activement aux installations de maquettes, analyse, rex et production de la documentation pour
passage sur instances de Recette/Dev puis PRA/Production.
&#10146 Faire monter en compétence les équipes RTE sur la distribution Cloudera et les bonnes pratiques
d’administration et de développement.
Environnement technique : CDH5.15, HDFS, Hive, Pig, Spark, Notebook, Sentry, Kerberos, Oozie, Zookeeper,
Yarn, Hbase, Dataiku, Qlick

BPCE-IT BANQE POPULAIRE ET CAISSE D’EPARGNE
Paris –Juillet 2017 – Octobre 2018
Administrateur et Intégrateur Big Data
Conception et développement from scratch
Projet de conception, d’installation, de configuration des clusters Horton Works et de support technique pour les clients
Conception
&#10146 Etude de faisabilité des besoins et mise en place d’un PoC
&#10146 Mise en place de la stratégie de la migration de bases existantes
&#10146 Rédaction de document de conception détaillée
&#10146 Découpage des documents de spécification fonctionnelles en plusieurs lots
Développement
&#10146 Mise en place d’ateliers sur les best practice HORTONWORKS
&#10146 Participation à la mise en place des serveurs principaux du « cœur Hadoop » de production
&#10146 Mise en place de la Haute Disponibilité
&#10146 Participation aux travaux de mise en place de sécurisation de la plateforme (Kerberos, Ranger, Knox)
&#10146 Participation aux travaux de mise en place de tableaux de bord pour la supervision et le capacity planning
&#10146 Définition et mise en place des dispositifs de sauvegardes
&#10146 Accompagnement des équipes d’exploitation
&#10146 Prise en compte des demandes de support N2 et N3, en liaison avec Horton Works le cas échéant
&#10146 Sécurisation des clusters en SSL et Https
Management
&#10146 Planification des campagnes de recettes client
&#10146 Supervision des installations chez le client
&#10146 Suivi et support des recettes fonctionnelles chez le client
&#10146 Validation des bugs remontés par le client et planification des correctifs
&#10146 Point technique entre Devs
Environnement et Outils : HDP-6.3.0, Ambari-5.3.2, Ambari-6.2.0, HDFS, Hive, Pig, Spark, Zeppelin, Knox, Ranger,
Kerberos, Atlas, Oozie, Zookeeper, Yarn, Hbase, Logstach, Grafana

SILCA BANQUE CREDIT AGRICOLE
Paris, Guyancourt Janvier 2016 – Juin 2017
Administrateur Big Data
Conception et développement from scratch :
Conception
&#10146 Etude de faisabilité des besoins et mise en place d’un PoC
&#10146 Mise en place de la stratégie de la migration de bases existantes
&#10146 Rédaction de document de conception détaillée
&#10146 Découpage des documents de spécification fonctionnelles en plusieurs lots
&#10146 Rédaction du manuel d’utilisation des outils
Développement
&#10146 Mise en place d’ateliers sur les best practises MapR
&#10146 Création des volumes MapR
&#10146 Sécurisation de données sur MapR
&#10146 Mise en place de MapR Client, NFS loopback
&#10146 Automatisation des tâches avec Ansible
&#10146 Utilisation de Git pour la gestion version
&#10146 Utilisation de Jenkins pour le déploiement des configurations
&#10146 Management des users, data et clusters
&#10146 Monitoring des clusters et gestion des ressources des clusters
&#10146 Installation et configuration des clusters
&#10146 Installation et configuration des service Big Data
&#10146 Conception de topologie des clusters
&#10146 Support technique sur les clusters big data
&#10146 Monitoring des services
&#10146 Développement sur les outils : Hive, MapR Db, Drill, Spark
Environnement et Outils : MapR 5.2, MapR-FS, MaR-DB, HBase, MapRLogin, Drill Java, Jenkins, Git, Ansible, YAM, Open Stack

Ministère des Finances France
Paris, Avril 2015 – Janvier 2016
Développeur Big Data Mise en œuvre d’indexe Géo spatial dans un contexte Big Data
Conception et développement :
&#10146...