Freelance Cloudera : Distinguez les savoir-faire dont vous avez besoin

Résumé d'expériences de Mory,
freelance CLOUDERA habitant la Seine-Saint-Denis (93)

• Data Architect Big Data et Lead project GIM Placo Isover et Glass Industry

  SAINT GOBAIN Défense Au sein du centre de compétences Big Data
  Jan 2021 - aujourd'hui

  dans un environnement Cloudera et en relation avec les équipes techniques,
  j’étais en support client/métier sur la mise en place de solutions techniques.
  ➢ Recueil des besoins, études du projet, proposition d'architecture et Design solutions du projet client
  ➢ Accompagnement et Lead data des équipes data Engineer, Onboarding des nouveaux projets
  ➢ Formation sur ouvertures des flux PSAT
  ➢ Review des jobs développés, audit et optimisation des jobs
  ➢ Automatisation des jobs via script Shell ou oozie
  ➢ Support clients, Support BD4SG cluster Cloudera et Support incidents
  ➢ Upgrade du cluster Cloudera du projet Industrie
  ➢ Maquette de migration Cloudera vers Azure
  ➢ Mise en place des pipelines de collecte de data Gim
  ➢ Mise en place des Connexions entre Self Host Intégration Runtime et l’outil Salesforce, Necplus et Pardot
  ➢ Mise en place de la connexion entre snowflake PowerBI pour le projet Gim Marketing
  ➢ Création Dashboard PowerBI
  ➢ Documentation sur la connexion aux data sources (Necplus, Pardot et Salesforce)
  ➢ Migration data Lake Cloudera vers Plateforme data (Azure)
  ➢ Accompagnement Migration SGDBF vers Azure
  ➢ Décommissionnement des clusters
  ➢ Création des plateformes Azure (souscriptions, ressources groups et ressources)
  ➢ Création & Migration des Self Host Intégration Runtime
  ➢ Onboarding des équipes data sur Azure data plateforme
  ➢ Création et gestion des SPN, Gestion des RBAC
  ➢ Centralisation des logs avec Azure logs Analytics
  ➢ Standardisation, Automatisation et Déploiement des plateformes
  ➢ Mise en place des Template pour la création des plateformes
  Méthodes & Outils de management
  ➢ Ticketing
  ➢ Agile (Scrum), Jira, Confluence, smartsheet
  ➢ Points techniques hebdomadaire inter équipes
  ➢ Daily d'équipe et sprint meeting
  Les livrables attendus :

  ➢ Schéma d'architecture
  ➢ Template des services et composants
  ➢ Documentation technique
  ➢ Analyser les incidents : rédaction des Post Mortem
  ➢ Gestion des Workshops
  ➢ Planification et animation des sprint et daily

  Environnement technique : CDP, HDP, HDFS, Hive,Spark, Notebook,Sentry,Ranger, Kerberos, Oozie, Yarn,Talend, Control-M, Azure: ADF, Synapse, SQL database, keyvault, Self Host Integration Runtime Shir, HQL, SQL, ActivDirectory, Terraform,Ansible,PowerShell, Bash Shell, Salesforces, snowflake,Networking,

• Intégrateur et lead projet GTPS et BDDFPAY

  SG Banque Société Générale Val de Fontenay
  Jan 2019 - Jan 2021

  ➢ Mise en place des traitements applicatifs nécessaires à l’alimentation et l’émission de données batch ou en streaming sur la
  plateforme Big Data
  ➢ Surveiller, alerter et remédier aux incidents sur les collectes des projets (en mode batch ou streaming)
  ➢ Configuration et optimisation des scripts applicatifs
  ➢ Configuration des outils de restitution (paramétrages), gestion des habilitations
  ➢ Assurer la livraison des développements en production
  ➢ Assurer le RUN des projets passés en homologation et en production
  ➢ Traiter les incidents et remises en service dans les meilleurs délais
  ➢ Réaliser les Morning-checks des applications, et les astreintes éventuelles sur les mises en production critiques
  ➢ Mise en œuvre les actions correctives à court et moyen terme
  ➢ Mise en place des bonnes pratiques de gestion des infrastructures et de livraisons/déploiements de manière à minimiser les
  risques de production
  ➢ Travaux internes de l'entité des intégrateurs, et aux workshops du domaine.
  ➢ Intégrer complétement la démarche DevOps CI/CD sur les projets Big Data, en contribuant à l'élaboration des solutions
  applicables à l'écosystème.
  ➢ Scripting
  ➢ Automatisations en s'appuyant sur Ansible
  DevOps
  ➢ Mise en place de la chaine CICD
  ➢ Mécanisme de déclanchement automatique des batches avec le service Control-M
  ➢ Monitoring et analyse performance avec Nagios et Control-M
  ➢ En support des tests de performance des services
  Méthodes & Outils de management
  ➢ Ticketing
  ➢ Agile (Scrum), Jira, Confluence
  ➢ Point technique Dev pour des Alternative Dispute Resolution (ADR)
  ➢ Points techniques hebdomadaire inter équipes
  Les livrables attendus :

  ➢ Effectuer le Morning-Check quotidien
  ➢ Remonter les Alertes
  ➢ Déployer des applications et des composants applicatifs planifiés
  ➢ Analyser les incidents et les remédier
  ➢ Amélioration continue des procédures de gestion des environnements (legacy et devops CI/CD)
  ➢ Gestion des Workshops

  Environnement technique : HDP, HDFS, Hive, Pig, Spark, Notebook, Ranger, Kerberos, Oozie, Yarn, Hbase, Talend, Control-M, TOM

• Administrateur Big Data

  RTE Réseau des Transport d’Électricité Défense,
  Jan 2018 - Jan 2019

  ➢ Administrer et consolider le cluster Hadoop Cloudera pour les tests d’ingénierie.
  ➢ Proposer un mode d’industrialisation permettant aux développeurs d’avoir une installation clé en main
  (VM, intégration DevOps des développements, supervision des jobs …)
  ➢ Apporter son expertise pour contribuer à définir l’architecture cible du paysage complet des clusters
  Hadoop.
  ➢ Collaborer avec l’équipe d’exploitation sur les questions de performances, d’organisation de
  l’administration et de supervision des clusters.
  ➢ Contribuer aux travaux d’ingénierie (kerberos, authentification, edge node, …)
  ➢ Contribuer aux travaux d’analyse et de suivi des performances des clusters (Cloudera Manager, Cloudera
  navigator, formats parquet/avro …)
  ➢ Contribuer activement aux installations de maquettes, analyse, rex et production de la documentation pour
  passage sur instances de Recette/Dev puis PRA/Production.
  ➢ Faire monter en compétence les équipes RTE sur la distribution Cloudera et les bonnes pratiques
  d’administration et de développement.

  Environnement technique : CDH5.15, HDFS, Hive, Pig, Spark, Notebook, Sentry, Kerberos, Oozie, Zookeeper, Yarn, Hbase, Dataiku, Qlick

• Administrateur et Intégrateur Big Data

  BPCE-IT BANQE POPULAIRE ET CAISSE D’EPARGNE Paris –
  Jan 2017 - Jan 2018

  Conception et développement from scratch
  Projet de conception, d’installation, de configuration des clusters Horton Works et de support technique pour les clients
  Conception
  ➢ Etude de faisabilité des besoins et mise en place d’un PoC
  ➢ Mise en place de la stratégie de la migration de bases existantes
  ➢ Rédaction de document de conception détaillée
  ➢ Découpage des documents de spécification fonctionnelles en plusieurs lots
  Développement
  ➢ Mise en place d’ateliers sur les best practice HORTONWORKS
  ➢ Participation à la mise en place des serveurs principaux du « cœur Hadoop » de production
  ➢ Mise en place de la Haute Disponibilité
  ➢ Participation aux travaux de mise en place de sécurisation de la plateforme (Kerberos, Ranger, Knox)
  ➢ Participation aux travaux de mise en place de tableaux de bord pour la supervision et le capacity planning
  ➢ Définition et mise en place des dispositifs de sauvegardes
  ➢ Accompagnement des équipes d’exploitation
  ➢ Prise en compte des demandes de support N2 et N3, en liaison avec Horton Works le cas échéant
  ➢ Sécurisation des clusters en SSL et Https
  Management
  ➢ Planification des campagnes de recettes client
  ➢ Supervision des installations chez le client
  ➢ Suivi et support des recettes fonctionnelles chez le client
  ➢ Validation des bugs remontés par le client et planification des correctifs
  ➢ Point technique entre Devs

  Environnement et Outils : HDP-6.3.0, Ambari-5.3.2, Ambari-6.2.0, HDFS, Hive, Pig, Spark, Zeppelin, Knox, Ranger, Kerberos, Atlas, Oozie, Zookeeper, Yarn, Hbase, Logstach, Grafana

• Administrateur Big Data

  SILCA BANQUE CREDIT AGRICOLE Paris
  Jan 2016 - Jan 2017

  Conception et développement from scratch :
  Conception
  ➢ Etude de faisabilité des besoins et mise en place d’un PoC
  ➢ Mise en place de la stratégie de la migration de bases existantes
  ➢ Rédaction de document de conception détaillée
  ➢ Découpage des documents de spécification fonctionnelles en plusieurs lots
  ➢ Rédaction du manuel d’utilisation des outils
  Développement
  ➢ Mise en place d’ateliers sur les best practises MapR
  ➢ Création des volumes MapR
  ➢ Sécurisation de données sur MapR
  ➢ Mise en place de MapR Client, NFS loopback
  ➢ Automatisation des tâches avec Ansible
  ➢ Utilisation de Git pour la gestion version
  ➢ Utilisation de Jenkins pour le déploiement des configurations
  ➢ Management des users, data et clusters
  ➢ Monitoring des clusters et gestion des ressources des clusters
  ➢ Installation et configuration des clusters
  ➢ Installation et configuration des service Big Data
  ➢ Conception de topologie des clusters
  ➢ Support technique sur les clusters big data
  ➢ Monitoring des services
  ➢ Développement sur les outils : Hive, MapR Db, Drill, Spark

  Environnement et Outils : MapR 5.2, MapR-FS, MaR-DB, HBase, MapRLogin, Drill Java, Jenkins, Git, Ansible, YAM, Open Stack

• Développeur Big Data Mise en œuvre d’indexe Géo spatial

  Ministère des Finances France Paris,
  Jan 2015 - Jan 2016

  dans un contexte Big Data
  Conception et développement :
  ➢...