CV/Mission de Développeur big data Jupyter freelance

Exemple de missions d'Olivier,
Développeur big data Jupyter habitant les Bouches-du-Rhône (13)

• Mission comme Architecte Cloudera

  pour MAIF – Niort
  Jan 2022 - Jan 2023

  - Support niveau 3 sur le datalake
  - Analyse des risques de sécurité, identification des impacts associés et proposition des plans d’action adaptés
  - Scripting Ansible pour automatisation des tâches récurrentes d’administration des clusters
  - Administration récurrente de 2 clusters HDP 100 nodes
  - Lien avec les consultants Cloudera sur les améliorations des clusters Hadoop
  - Déménagement des clusters sur un autre site physique
  - Mise en application des recommandations et exigences des Plans de Sécurité des Systèmes d’Information dans des environnements hybrides : contrôle des flux, Identity Access Management (IAM), vulnérabilités, durcissement

  Environnement : Cloudera, Ambari, Redhat, Ansible

• Mission comme Architecte Azure/Aws Sécurité

  pour DANONE – Paris
  Jan 2019 - Jan 2022

  - Déploiement composants Aws, Azure, membre équipe architecture. Réalisation schémas
  d’architecture, documentation, DAT
  - Modélisation des datawarehouses avec Data Vault (hubs, links, sats)
  - Automatisation de gestion de l’infrastructure via scripts bash, terraform, aws cli (VPC,
  Resource Groups, subnets, NSG, Transit Gateways, Public Adresses…Etc)
  - Déploiement chaîne CI/CD : Jenkins server, Github, Terraform
  - Déploiement infrastructure full stack AWS avec Terraform (réseau complet, EC2 instances)
  - Automatisation de gestion des instances Ec2 via scripts bash, python
  - Mise en place monitoring cloudwatch , backups, SSM, gestion billing
  - POC : CDP Cloudera, Databricks, EKS/ECS, Fargate, Snowflake Dwh, Redshift clusters
  - Scripting bash pour gérer les règles de sécurité AWS, Azure
  - Création des AMI Windows/Linux automatisé avec aws cli/scripts shells
  - Migration onprem Hive / cloud databricks avec Wandisco
  - Création des blueprints (ARM, CloudFormation, ) clé en main pour les principaux use cases.
  - AWS : Sécurité , gestion IAM, SG, KMS, clés, certificats, analyse de logs, encryption des disques
  - Gestion de la sécurité IAM, kms, encryption aes, création des rôles et policies
  - Cybersécurité: Azure Security Center, vulnerability scans, Azure Sentinel, KeyVault(rotation des clés, secrets, certificats, RBAC)
  - Cybersécurité: Gestion des accès (Azure AD), Azure Disk Encryption, Azure Firewall, ASG, NSG, PIM , MFA
  - Cybersécurité : DDoS protection, Azure Bastion, WAF sur Azure Application Gateway

  Environnement : AWS, Azure, RH7, Databricks, Terraform, Ansible, Github, Jenkins, Data Vault

• Mission comme Architecte BigData Clouds

  pour Danone – Paris
  Jan 2019 - Jan 2020

  - Déploiement composants Aws, Azure, membre équipe architecture. Réalisation schémas
  d’architecture, documentation, DAT
  - Automatisation de gestion de l’infrastructure via scripts bash, terraform, aws cli (VPC,
  Resource Groups, subnets, NSG, Transit Gateways, Public Adresses…Etc)
  - Déploiement chaîne CI/CD : Jenkins server, Github, Terraform
  - Déploiement infrastructure full stack AWS avec Terraform (réseau complet, EC2 instances)
  - Automatisation de gestion des instances Ec2 via scripts bash, python
  - Mise en place monitoring cloudwatch, backups, SSM
  - POC : CDP Cloudera, Databricks, Eks, Fargate, Snowflake Dwh, Redshift clusters
  - Scripting bash pour gérer les règles de sécurité AWS
  - Création des AMI Windows/Linux automatisé avec aws cli/scripts shells
  - Migration onprem Hive / cloud databricks avec Wandisco
  - Gestion de la sécurité IAM, kms, encryption aes, création des rôles et policies
  - Configuration AD pour SSO, SAML Azure/AWS

  Environnement : AWS, Azure, RH7, Databricks, Terraform, Ansible, Github, Jenkins

• Mission comme Architecte BigData Hadoop/AWS/Azure

  pour AXA Tech – Paris (Assurances)
  Jan 2018 - Jan 2019

  MCO et Support niveau 3 de plateformes multi tenants (Volumétrie : 1.2Po)
  5 clusters de 30 nœuds sous Cloudera Manager, Prod, Preprod, integration
  Mise en place monitoring avec Zabbix Server.
  Activation et mise sous controle Azure cloud, peuplement du DataLake
  Industrialisation des déploiements des VMs Terraform/Azure
  Azure Datalake : définition des zones, landing, curated, discovery, integration
  Montée de version Cloudera à chaud de la production
  Etude architectures nouveaux composants, airflow, Dr Elephant
  Scripting Bash, Ansible pour déploiement des composants du cluster Hadoop.
  POC sur AWS : implémentation Kubernetes, minikube, pods, replicasets , graphana, kibana, prometheus
  Migration datalake vers AWS : Etude et mise en place Kinesis, Redshit spectrum , Snowball Edge, S3

  Environnement : Linux Red Hat 6/7, Hadoop Cloudera 5.8, Zabbix 3.4, Chef, Ansible, Terraformn LDAP, AWS, Azure, Kubernetes 1.15, Docker 18, ELK, Graphana

• Mission comme Architecte BigData Hadoop / MongoDB

  pour Banque de France Eurosystèmes – Noisiel (Administration bancaire)
  Jan 2016 - Jan 2018

  Intégration de l’offre à la BdF / Architecture MongoDB : sharding, replicaset, backups/restores
  Déploiement et configuration Ops Manager V3.4, SSL
  Support niveau 3 MongoDB, troubleshooting, tuning slow queries…, recommandations best practises MongoDB
  Ingestion dataflow avec Kafka 0.10/MongoDB 3.4, Nifi 1.1.2 (processeurs : PublishKafka_0_10, ConsumerKafka_0_10, GetFile, PutMongo, PutFile, GetFile, GenerateFlowFile, ExtractText…)
  Déploiement cluster HortonWorks 2.5 (10 nodes), Ambari, HDFS, Nifi,YARN, ELK 5
  Ajout de noeuds, Upgrade de la stack HDP, activation de la High Availability (HDFS, YARN, HBase)
  MCO cluster Hortonworks de production/dev/recette pour projet MUSES statistiques
  Mise en place et définition du datalake avec les équipes Hortonworks France
  Définition et analyse des besoins clients, analyse coût projet
  Architecture en fonction des choix technologiques Hadoop HDP (outils infrastructure web)
  Evaluation des risques et impacts techniques des solutions préconisées
  Dimensionnement des serveurs et gestion des relations avec l’hébergeur, blueprints Ambari
  Conception et mutualisation des socles technologiques MongoDB Enterprise/Community
  Animation des réunions hebdomadaires Comité de Suivi MongoDB/Hadoop
  Définition des normes, de l’offre de services MongoDB pour les métiers

  Environnement: Linux Red Hat 6/7, Hadoop Hortonworks 2.4, MongoDB 3x, Ops Manager 2, ELK 5

• : Mission 20 jours - Audit Cassandra BigData

  pour Carrefour – Massy (Grande distribution)
  Jan 2016 - aujourd'hui

  Tests de charge avec outil Cassandra-stress sur plusieurs millions de lignes
  Définition modèle de donnés, audit logs
  Tuning JVM memory, Replication factor à 1, disque séparé pour les données et les commit logs (préconisation de disques SSD pour les données)
  Architecture cluster 3 nœuds, 1To de data.

  Environnement : Linux Red Hat 6/7, Hadoop Cloudera 5, Cassandra 2x, Ops Center

• pour BNPP– Montreuil (milieu bancaire , 200 000 employés, CA 44 Milliards)

  Mission comme Consultant BigData / Hadoop
  Jan 2016 - aujourd'hui

  - Administration : system Hadoop IBM BigInsights, hdfs, webhdfs management, acl, knox, ambari, oozie, flume, spark, splunk
  Management clusters dev, prod, installation, configuration, tests
  - Environment : Linux Centos, Hadoop IBM BigInsights 4.1, splunk, spark, flinck, kafka, flume, spotify, spyder, oozie, ambari, knox, kerberos/ldaps, jupyter

• Mission 6 mois comme DBA Production MSSQL/MySQL/Oracle/GreenPlum

  pour Vente Privé******** – Saint Denis
  Jan 2015 - Jan 2015

  (2eme site E-Commerce Français, 2000 employés, CA 1.7 Milliards)
  - Etude puis migration GreenPlum 4.3 (Plate-forme Big Data Analytics d’EMC basée sur PostgreSQL 8.2 en MPP), 2 bases 10To de données. 2 masters, 8 segments. Backup/Restore, tables partitionnées, purges, création schémas, tables externes, monitoring, Ddboost, gpload, gpfdist, command center.
  - Mise en place du backup Greenplum sur DataDomain (VP bloqué depuis 2 ans sur le sujet)
  - Tuning et performances principalement SQL Server 2008R2 (OLTP, réplication), Oracle EE 11G Diagnostic Pack, AWR, analyse des logs, et résolutions des incidents, Dataguard physique
  - Optimisation des performances / Modèle de données, procédures stockées
  - Scripting shell bash , automatisation backups/purges
  - Test indexation 1000 documents sous Elasticsearch 2.0, création cluster Found, Kibana, Shield
  - Mise à jour des documentations GreenPlum, wiki

  - Environnement : Linux Red Hat, GreenPlum 4.3, TFS, MSSQL 2008R2, Oracle 11G EE, EMC DATADOMAIN, SCOM, Zabbix, Elasticsearch 2.0

• Mission 6 mois comme DBA Production MSSQL/MySQL/PostgreSQL/Hadoop/Cassandra pour Lagardère Active - Paris/Munich ( Comparateur prix, 120 employés pour la partie ********/********, CA 500M)

  Jan 2015 - Jan 2015

  - Architecture, implémentation, maintenance et support des bases de données des plates-formes ********/********. 15 Bases MSSQL, 150 Bases MySQL, 20 bases PostgreSQL, 3 base Hbase 0.94.2-cdh4.2.1 / Hadoop 2.0.0-cdh4.2.1
  - Transfert des compétences métiers entre le DBA Munich et Paris en cdi.
  - Implémentation cluster 3 nœuds, DataStax Cassandra 2.1 sur Centos, création keyspace, ccm
  - Gestion de l’intégrité des bases de données ainsi que leur facilité d’utilisation
  - Tuning et performances SQL Server 2008 (OLTP, mirroring Mssql avec témoin, réplication MySQL master/slave, service broker)
  - Optimisation des performances / Modèle de données, procédures stockées
  - Montée en compétence sur Hadoop/Hbase, Apache Cloudera 4.7 , installation cluster 5 nœuds CDH4

  - Environnement : Linux Centos, Cassandra 2 .1, MSSQL 2008, MySQL 5, Hadoop, Hbase, PostGresql 8-9, Git, Jira, Agile Scrum