Mory - Data architect / Adminstrateur/ Integrateur /Consultant BIG DATA

Ref : 180605K002
Email vérifié
Photo de Mory, Data architect / Adminstrateur/ Integrateur /Consultant BIG DATA
Compétences
Expériences professionnelles
  • EXPE R I E N C ES

    SAINT GOBAIN
    Défense, Septembre 2021 – Aujourd’hui
    Data Architect Big Data et Lead project GIM Placo Isover et Glass Industry

    Au sein du centre de compétences Big Data, dans un environnement Cloudera et en relation avec les équipes techniques,
    j’étais en support client/métier sur la mise en place de solutions techniques.
    ➢ Recueil des besoins, études du projet, proposition d'architecture et Design solutions du projet client
    ➢ Accompagnement et Lead data des équipes data Engineer, Onboarding des nouveaux projets
    ➢ Formation sur ouvertures des flux PSAT
    ➢ Review des jobs développés, audit et optimisation des jobs
    ➢ Automatisation des jobs via script Shell ou oozie
    ➢ Support clients, Support BD4SG cluster Cloudera et Support incidents
    ➢ Upgrade du cluster Cloudera du projet Industrie
    ➢ Maquette de migration Cloudera vers Azure
    ➢ Mise en place des pipelines de collecte de data Gim
    ➢ Mise en place des Connexions entre Self Host Intégration Runtime et l’outil Salesforce, Necplus et Pardot
    ➢ Mise en place de la connexion entre snowflake PowerBI pour le projet Gim Marketing
    ➢ Création Dashboard PowerBI
    ➢ Documentation sur la connexion aux data sources (Necplus, Pardot et Salesforce)
    ➢ Migration data Lake Cloudera vers Plateforme data (Azure)
    ➢ Accompagnement Migration SGDBF vers Azure
    ➢ Décommissionnement des clusters
    ➢ Création des plateformes Azure (souscriptions, ressources groups et ressources)
    ➢ Création & Migration des Self Host Intégration Runtime
    ➢ Onboarding des équipes data sur Azure data plateforme
    ➢ Création et gestion des SPN, Gestion des RBAC
    ➢ Centralisation des logs avec Azure logs Analytics
    ➢ Standardisation, Automatisation et Déploiement des plateformes
    ➢ Mise en place des Template pour la création des plateformes
    Méthodes & Outils de management
    ➢ Ticketing
    ➢ Agile (Scrum), Jira, Confluence, smartsheet
    ➢ Points techniques hebdomadaire inter équipes
    ➢ Daily d'équipe et sprint meeting
    Les livrables attendus :

    ➢ Schéma d'architecture
    ➢ Template des services et composants
    ➢ Documentation technique
    ➢ Analyser les incidents : rédaction des Post Mortem
    ➢ Gestion des Workshops
    ➢ Planification et animation des sprint et daily

    Environnement technique : CDP, HDP, HDFS, Hive,Spark, Notebook,Sentry,Ranger, Kerberos, Oozie, Yarn,Talend, Control-M,
    Azure: ADF, Synapse, SQL database, keyvault, Self Host Integration Runtime Shir, HQL, SQL, ActivDirectory,
    Terraform,Ansible,PowerShell, Bash Shell, Salesforces, snowflake,Networking,


    SG Banque Société Générale
    Val de Fontenay, Février 2019 – Juillet 2021
    Intégrateur et lead projet GTPS et BDDFPAY
    ➢ Mise en place des traitements applicatifs nécessaires à l’alimentation et l’émission de données batch ou en streaming sur la
    plateforme Big Data
    ➢ Surveiller, alerter et remédier aux incidents sur les collectes des projets (en mode batch ou streaming)
    ➢ Configuration et optimisation des scripts applicatifs
    ➢ Configuration des outils de restitution (paramétrages), gestion des habilitations
    ➢ Assurer la livraison des développements en production
    ➢ Assurer le RUN des projets passés en homologation et en production
    ➢ Traiter les incidents et remises en service dans les meilleurs délais
    ➢ Réaliser les Morning-checks des applications, et les astreintes éventuelles sur les mises en production critiques
    ➢ Mise en œuvre les actions correctives à court et moyen terme
    ➢ Mise en place des bonnes pratiques de gestion des infrastructures et de livraisons/déploiements de manière à minimiser les
    risques de production
    ➢ Travaux internes de l'entité des intégrateurs, et aux workshops du domaine.
    ➢ Intégrer complétement la démarche DevOps CI/CD sur les projets Big Data, en contribuant à l'élaboration des solutions
    applicables à l'écosystème.
    ➢ Scripting
    ➢ Automatisations en s'appuyant sur Ansible
    DevOps
    ➢ Mise en place de la chaine CICD
    ➢ Mécanisme de déclanchement automatique des batches avec le service Control-M
    ➢ Monitoring et analyse performance avec Nagios et Control-M
    ➢ En support des tests de performance des services
    Méthodes & Outils de management
    ➢ Ticketing
    ➢ Agile (Scrum), Jira, Confluence
    ➢ Point technique Dev pour des Alternative Dispute Resolution (ADR)
    ➢ Points techniques hebdomadaire inter équipes
    Les livrables attendus :

    ➢ Effectuer le Morning-Check quotidien
    ➢ Remonter les Alertes
    ➢ Déployer des applications et des composants applicatifs planifiés
    ➢ Analyser les incidents et les remédier
    ➢ Amélioration continue des procédures de gestion des environnements (legacy et devops CI/CD)
    ➢ Gestion des Workshops
    Environnement technique : HDP, HDFS, Hive, Pig, Spark, Notebook, Ranger, Kerberos, Oozie, Yarn, Hbase, Talend, Control-M,
    TOM

    RTE Réseau des Transport d’Électricité
    Défense, Octobre 2018 – Janvier 2019
    Administrateur Big Data
    ➢ Administrer et consolider le cluster Hadoop Cloudera pour les tests d’ingénierie.
    ➢ Proposer un mode d’industrialisation permettant aux développeurs d’avoir une installation clé en main
    (VM, intégration DevOps des développements, supervision des jobs …)
    ➢ Apporter son expertise pour contribuer à définir l’architecture cible du paysage complet des clusters
    Hadoop.
    ➢ Collaborer avec l’équipe d’exploitation sur les questions de performances, d’organisation de
    l’administration et de supervision des clusters.
    ➢ Contribuer aux travaux d’ingénierie (kerberos, authentification, edge node, …)
    ➢ Contribuer aux travaux d’analyse et de suivi des performances des clusters (Cloudera Manager, Cloudera
    navigator, formats parquet/avro …)
    ➢ Contribuer activement aux installations de maquettes, analyse, rex et production de la documentation pour
    passage sur instances de Recette/Dev puis PRA/Production.
    ➢ Faire monter en compétence les équipes RTE sur la distribution Cloudera et les bonnes pratiques
    d’administration et de développement.
    Environnement technique : CDH5.15, HDFS, Hive, Pig, Spark, Notebook, Sentry, Kerberos, Oozie, Zookeeper,
    Yarn, Hbase, Dataiku, Qlick

    BPCE-IT BANQE POPULAIRE ET CAISSE D’EPARGNE
    Paris –Juillet 2017 – Octobre 2018
    Administrateur et Intégrateur Big Data
    Conception et développement from scratch
    Projet de conception, d’installation, de configuration des clusters Horton Works et de support technique pour les clients
    Conception
    ➢ Etude de faisabilité des besoins et mise en place d’un PoC
    ➢ Mise en place de la stratégie de la migration de bases existantes
    ➢ Rédaction de document de conception détaillée
    ➢ Découpage des documents de spécification fonctionnelles en plusieurs lots
    Développement
    ➢ Mise en place d’ateliers sur les best practice HORTONWORKS
    ➢ Participation à la mise en place des serveurs principaux du « cœur Hadoop » de production
    ➢ Mise en place de la Haute Disponibilité
    ➢ Participation aux travaux de mise en place de sécurisation de la plateforme (Kerberos, Ranger, Knox)
    ➢ Participation aux travaux de mise en place de tableaux de bord pour la supervision et le capacity planning
    ➢ Définition et mise en place des dispositifs de sauvegardes
    ➢ Accompagnement des équipes d’exploitation
    ➢ Prise en compte des demandes de support N2 et N3, en liaison avec Horton Works le cas échéant
    ➢ Sécurisation des clusters en SSL et Https
    Management
    ➢ Planification des campagnes de recettes client
    ➢ Supervision des installations chez le client
    ➢ Suivi et support des recettes fonctionnelles chez le client
    ➢ Validation des bugs remontés par le client et planification des correctifs
    ➢ Point technique entre Devs
    Environnement et Outils : HDP-6.3.0, Ambari-5.3.2, Ambari-6.2.0, HDFS, Hive, Pig, Spark, Zeppelin, Knox, Ranger,
    Kerberos, Atlas, Oozie, Zookeeper, Yarn, Hbase, Logstach, Grafana

    SILCA BANQUE CREDIT AGRICOLE
    Paris, Guyancourt Janvier 2016 – Juin 2017
    Administrateur Big Data
    Conception et développement from scratch :
    Conception
    ➢ Etude de faisabilité des besoins et mise en place d’un PoC
    ➢ Mise en place de la stratégie de la migration de bases existantes
    ➢ Rédaction de document de conception détaillée
    ➢ Découpage des documents de spécification fonctionnelles en plusieurs lots
    ➢ Rédaction du manuel d’utilisation des outils
    Développement
    ➢ Mise en place d’ateliers sur les best practises MapR
    ➢ Création des volumes MapR
    ➢ Sécurisation de données sur MapR
    ➢ Mise en place de MapR Client, NFS loopback
    ➢ Automatisation des tâches avec Ansible
    ➢ Utilisation de Git pour la gestion version
    ➢ Utilisation de Jenkins pour le déploiement des configurations
    ➢ Management des users, data et clusters
    ➢ Monitoring des clusters et gestion des ressources des clusters
    ➢ Installation et configuration des clusters
    ➢ Installation et configuration des service Big Data
    ➢ Conception de topologie des clusters
    ➢ Support technique sur les clusters big data
    ➢ Monitoring des services
    ➢ Développement sur les outils : Hive, MapR Db, Drill, Spark
    Environnement et Outils : MapR 5.2, MapR-FS, MaR-DB, HBase, MapRLogin, Drill Java, Jenkins, Git, Ansible, YAM, Open Stack

    Ministère des Finances France
    Paris, Avril 2015 – Janvier 2016
    Développeur Big Data Mise en œuvre d’indexe Géo spatial dans un contexte Big Data
    Conception et développement :
    ➢ Recueil et analyse des besoins métiers
    ➢ Élaboration et Rédaction des maquettes de conception
    ➢ Mise en place d’un référentiel pour la gestion des données géo spatial
    ➢ Analyse et intégration des données géographiques dans Hive
    ➢ Manipulation des requêtes sur Hive et Hbase
    ➢ Rédiger le guide d’installation et le manuel d’exploitation
    ➢ Adapter et qualifier le code à la distribution Cloudera
    ➢ Tests unitaires et Tests d’intégration
    Environnement et Outils : Cloudera CDH 5.x, Hive, HQL, Oozie, XML, Java, Hue, Cloudera Manager, Linux, MySQL, Shell Unix

    WANGARDEN
    Paris, Juillet 2014 – Septembre 2014
    Développeur Big Data Mise en place d’un outil d’exploration de données (logs)
    Conception et développement :
    ➢ Mise en place d’un outil d’exploration de données (logs)
    ➢ Rédaction des spécifications fonctionnelles
    ➢ Développement de l’outil d’analyse sur Logstash
    ➢ Extraction de connaissance à partir des données brutes (logs)
    ➢ Création d’un écosystème d’accès aux données
    ➢ Création des sous-systèmes de visualisation
    Environnement et Outils Elastic search, Logstash, Kibana, Linux, Shell Unix

Études et formations
  • AT O U T S T E C H N I Q U E S

    BIG DATA
    CDP, HDFS, Hive, Spark, Knox, Ranger, MapR-FS, Tez, HQL, HBase, Yarn, Oozie, Drill, kudu, MapR-DB, Sqoop,
    Kerberos, MCS, Cloudera Manager, Ambari, Pig, Zookeeper, Atlas, AWS, Talend, Tableau, Connect-Express(TOM),
    Azure: ADF, Synapse, SQL database, key vault, Self-Host Integration Runtime Shir, HQL, SQL, Active Directory, Terraform,
    Ansible ,PowerShell, Bash Shell, Salesforces, snowflake, Networking, PowerBI

    Ecosystèmes hadoop
    Cloudera, Azure, Hortonworks, MapR

    Architectures
    Architecture Microservice, data lake, data lab

    langages
    Shell Unix, Scala, Python, SQL, Java

    Databases
    PostgreSQL, Oracle, MySQL, Maria DB, SQL Server, Azure SQL Database

    Devops & Infra
    Ansible, Jenkins, Kibana, Grafana, Logstash, Elasticsearch, AWS S3, AWS, Docker, GitLab,

    Méthodo
    Jira, Confluence, Smartsheet, Agile Scrum, Kanban, Meetup,

    Framework & Tools
    Visual Studio, Postman, IntelliJ, Eclipse, Atom, Swing

    F O R M A TI O N S

    Villetaneuse, France : 2015
    Université Sorbonne Paris Nord
    Master 2 Exploration Informatique des Données et Décisionnelle

    Villetaneuse, France : 2014
    Université Sorbonne Paris Nord
    Master 1 Informatique

    Villetaneuse, France : 2013
    Université Sorbonne Paris Nord
    Licence en Informatique


D'autres freelances
Consultant BIG DATA

Ces profils pourraient vous intéresser !
CV Actuaire IA, Data Scientist Senior, Economiste
Gilles Kué

Actuaire IA, Data Scientist Senior, Economiste

  • CHAMBOURCY
DATA R SAS PYTHON Lean Six Sigma SQL AGILE Microsoft Power BI BIG DATA EXCEL
Disponible
CV Data Engineer | Developpeur Big Data
Mounir

Data Engineer | Developpeur Big Data

  • CHÂTENAY-MALABRY
APACHE SPARK SQL BIG DATA APACHE HADOOP SCALA JAVA PYTHON APACHE KAFKA NoSQL Cloudera
Disponible
CV Chef de projet DATA RPA IA GenIA
Keba

Chef de projet DATA RPA IA GenIA

  • CRÉTEIL
RPA GED UiPath AGILE SCRUM DATA BPM BIG DATA PYTHON C#
Disponible
CV Directeur de projet ASSET MANAGEMENT
Jean Marie

Directeur de projet ASSET MANAGEMENT

  • LES LOGES-EN-JOSAS
ASSET MANAGEMENT Finance MS PROJECT MS OFFICE MARKET DATA JIRA BIG DATA AGILE SWIFT BLOOMBERG
Disponible
CV Consultant  Data engineer & Backend
Diakaridia

Consultant Data engineer & Backend

  • VERTOU
APACHE SPARK APACHE KAFKA BIG DATA Kotlin SCALA JAVA AGILE Spring Boot AMAZON EMR SPRING WEBFLUX
CV Data / IA - AMOA
Nathalie

Data / IA - AMOA

  • PARIS
JIRA CONFLUENCE SQL AGILE BIG DATA API RESTful CI/CD
CV Consultant talend
Firas

Consultant talend

  • VITRY-SUR-SEINE
JAVA SQL J2EE TALEND TALEND DI ORACLE UNIX AGILE BIG DATA TALEND MDM
CV Data Analyst Microsoft Power BI
Gassendy

Data Analyst Microsoft Power BI

  • BONDY
DATAVIZ SQL EXCEL SAS BUSINESS OBJECTS BIG DATA Microsoft Power BI SQL SERVER PYTHON BI
CV Architecte Solution BIG DATA
Copain Bertrand

Architecte Solution BIG DATA

  • NANTEUIL-LÈS-MEAUX
BIG DATA Cloudera Data science
CV Tech Lead IoT & Cloud
Walid

Tech Lead IoT & Cloud

  • SOISY-SOUS-MONTMORENCY
IOT Cloud AWS PYTHON SQL GITLAB LINUX BIG DATA HASHICORP TERRAFORM AZURE C