CV/Mission de Développeur big data Jupyter freelance

Exemple de missions d'Olivier,
Développeur big data Jupyter habitant les Bouches-du-Rhône (13)

Expérience professionnelle

● Mai 2022– Mars 2023 : Mission comme Architecte Cloudera pour MAIF – Niort
- Support niveau 3 sur le datalake
- Analyse des risques de sécurité, identification des impacts associés et proposition des plans d’action adaptés
- Scripting Ansible pour automatisation des tâches récurrentes d’administration des clusters
- Administration récurrente de 2 clusters HDP 100 nodes
- Lien avec les consultants Cloudera sur les améliorations des clusters Hadoop
- Déménagement des clusters sur un autre site physique
- Mise en application des recommandations et exigences des Plans de Sécurité des Systèmes d’Information dans des environnements hybrides : contrôle des flux, Identity Access Management (IAM), vulnérabilités, durcissement
-
- Environnement : Cloudera, Ambari, Redhat, Ansible

● Déc 2019 – Avril 2022 : Mission comme Architecte Azure/Aws Sécurité pour DANONE – Paris

- Déploiement composants Aws, Azure, membre équipe architecture. Réalisation schémas
d’architecture, documentation, DAT
- Modélisation des datawarehouses avec Data Vault (hubs, links, sats)
- Automatisation de gestion de l’infrastructure via scripts bash, terraform, aws cli (VPC,
Resource Groups, subnets, NSG, Transit Gateways, Public Adresses…Etc)
- Déploiement chaîne CI/CD : Jenkins server, Github, Terraform
- Déploiement infrastructure full stack AWS avec Terraform (réseau complet, EC2 instances)
- Automatisation de gestion des instances Ec2 via scripts bash, python
- Mise en place monitoring cloudwatch , backups, SSM, gestion billing
- POC : CDP Cloudera, Databricks, EKS/ECS, Fargate, Snowflake Dwh, Redshift clusters
- Scripting bash pour gérer les règles de sécurité AWS, Azure
- Création des AMI Windows/Linux automatisé avec aws cli/scripts shells
- Migration onprem Hive / cloud databricks avec Wandisco
- Création des blueprints (ARM, CloudFormation, ) clé en main pour les principaux use cases.
- AWS : Sécurité , gestion IAM, SG, KMS, clés, certificats, analyse de logs, encryption des disques
- Gestion de la sécurité IAM, kms, encryption aes, création des rôles et policies
- Cybersécurité: Azure Security Center, vulnerability scans, Azure Sentinel, KeyVault(rotation des clés, secrets, certificats, RBAC)
- Cybersécurité: Gestion des accès (Azure AD), Azure Disk Encryption, Azure Firewall, ASG, NSG, PIM , MFA
- Cybersécurité : DDoS protection, Azure Bastion, WAF sur Azure Application Gateway

Environnement : AWS, Azure, RH7, Databricks, Terraform, Ansible, Github, Jenkins, Data Vault

Déc 2019 – juin 2020 : Mission comme Architecte BigData Clouds pour Danone – Paris

- Déploiement composants Aws, Azure, membre équipe architecture. Réalisation schémas
d’architecture, documentation, DAT
- Automatisation de gestion de l’infrastructure via scripts bash, terraform, aws cli (VPC,
Resource Groups, subnets, NSG, Transit Gateways, Public Adresses…Etc)
- Déploiement chaîne CI/CD : Jenkins server, Github, Terraform
- Déploiement infrastructure full stack AWS avec Terraform (réseau complet, EC2 instances)
- Automatisation de gestion des instances Ec2 via scripts bash, python
- Mise en place monitoring cloudwatch, backups, SSM
- POC : CDP Cloudera, Databricks, Eks, Fargate, Snowflake Dwh, Redshift clusters
- Scripting bash pour gérer les règles de sécurité AWS
- Création des AMI Windows/Linux automatisé avec aws cli/scripts shells
- Migration onprem Hive / cloud databricks avec Wandisco
- Gestion de la sécurité IAM, kms, encryption aes, création des rôles et policies
- Configuration AD pour SSO, SAML Azure/AWS

Environnement : AWS, Azure, RH7, Databricks, Terraform, Ansible, Github, Jenkins

Juillet 2018 – dec 2019 : Mission comme Architecte BigData Hadoop/AWS/Azure pour AXA Tech – Paris (Assurances)

MCO et Support niveau 3 de plateformes multi tenants (Volumétrie : 1.2Po)
5 clusters de 30 nœuds sous Cloudera Manager, Prod, Preprod, integration
Mise en place monitoring avec Zabbix Server.
Activation et mise sous controle Azure cloud, peuplement du DataLake
Industrialisation des déploiements des VMs Terraform/Azure
Azure Datalake : définition des zones, landing, curated, discovery, integration
Montée de version Cloudera à chaud de la production
Etude architectures nouveaux composants, airflow, Dr Elephant
Scripting Bash, Ansible pour déploiement des composants du cluster Hadoop.
POC sur AWS : implémentation Kubernetes, minikube, pods, replicasets , graphana, kibana, prometheus
Migration datalake vers AWS : Etude et mise en place Kinesis, Redshit spectrum , Snowball Edge, S3

Environnement : Linux Red Hat 6/7, Hadoop Cloudera 5.8, Zabbix 3.4, Chef, Ansible, Terraformn LDAP, AWS, Azure, Kubernetes 1.15, Docker 18, ELK, Graphana

Juin 2016 – juin 2018 : Mission comme Architecte BigData Hadoop / MongoDB pour Banque de France Eurosystèmes – Noisiel (Administration bancaire)

Intégration de l’offre à la BdF / Architecture MongoDB : sharding, replicaset, backups/restores
Déploiement et configuration Ops Manager V3.4, SSL
Support niveau 3 MongoDB, troubleshooting, tuning slow queries…, recommandations best practises MongoDB
Ingestion dataflow avec Kafka 0.10/MongoDB 3.4, Nifi 1.1.2 (processeurs : PublishKafka_0_10, ConsumerKafka_0_10, GetFile, PutMongo, PutFile, GetFile, GenerateFlowFile, ExtractText…)
Déploiement cluster HortonWorks 2.5 (10 nodes), Ambari, HDFS, Nifi,YARN, ELK 5
Ajout de noeuds, Upgrade de la stack HDP, activation de la High Availability (HDFS, YARN, HBase)
MCO cluster Hortonworks de production/dev/recette pour projet MUSES statistiques
Mise en place et définition du datalake avec les équipes Hortonworks France
Définition et analyse des besoins clients, analyse coût projet
Architecture en fonction des choix technologiques Hadoop HDP (outils infrastructure web)
Evaluation des risques et impacts techniques des solutions préconisées
Dimensionnement des serveurs et gestion des relations avec l’hébergeur, blueprints Ambari
Conception et mutualisation des socles technologiques MongoDB Enterprise/Community
Animation des réunions hebdomadaires Comité de Suivi MongoDB/Hadoop
Définition des normes, de l’offre de services MongoDB pour les métiers

Environnement: Linux Red Hat 6/7, Hadoop Hortonworks 2.4, MongoDB 3x, Ops Manager 2, ELK 5

Mai 2016 : Mission 20 jours - Audit Cassandra BigData pour Carrefour – Massy (Grande distribution)

Tests de charge avec outil Cassandra-stress sur plusieurs millions de lignes
Définition modèle de donnés, audit logs
Tuning JVM memory, Replication factor à 1, disque séparé pour les données et les commit logs (préconisation de disques SSD pour les données)
Architecture cluster 3 nœuds, 1To de data.

Environnement : Linux Red Hat 6/7, Hadoop Cloudera 5, Cassandra 2x, Ops Center

Janv-en cours 2016: Mission comme Consultant BigData / Hadoop
pour BNPP– Montreuil (milieu bancaire , 200 000 employés, CA 44 Milliards)
- Administration : system Hadoop IBM BigInsights, hdfs, webhdfs management, acl, knox, ambari, oozie, flume, spark, splunk
Management clusters dev, prod, installation, configuration, tests
- Environment : Linux Centos, Hadoop IBM BigInsights 4.1, splunk, spark, flinck, kafka, flume, spotify, spyder, oozie, ambari, knox, kerberos/ldaps, jupyter

Juillet-Déc 2015: Mission 6 mois comme DBA Production
MSSQL/MySQL/Oracle/GreenPlum pour Vente Privé******** – Saint Denis (2eme site E-Commerce Français, 2000 employés, CA 1.7 Milliards)
- Etude puis migration GreenPlum 4.3 (Plate-forme Big Data Analytics d’EMC basée sur PostgreSQL 8.2 en MPP), 2 bases 10To de données. 2 masters, 8 segments. Backup/Restore, tables partitionnées, purges, création schémas, tables externes, monitoring, Ddboost, gpload, gpfdist, command center.
- Mise en place du backup Greenplum sur DataDomain (VP bloqué depuis 2 ans sur le sujet)
- Tuning et performances principalement SQL Server 2008R2 (OLTP, réplication), Oracle EE 11G Diagnostic Pack, AWR, analyse des logs, et résolutions des incidents, Dataguard physique
- Optimisation des performances / Modèle de données, procédures stockées
- Scripting shell bash , automatisation backups/purges
- Test indexation 1000 documents sous Elasticsearch 2.0, création cluster Found, Kibana, Shield
- Mise à jour des documentations GreenPlum, wiki
- Environnement : Linux Red Hat, GreenPlum 4.3, TFS, MSSQL 2008R2, Oracle 11G EE, EMC DATADOMAIN, SCOM, Zabbix, Elasticsearch 2.0

Fév-Juillet 2015: Mission 6 mois comme DBA Production MSSQL/MySQL/PostgreSQL/Hadoop/Cassandra pour Lagardère Active - Paris/Munich ( Comparateur prix, 120 employés pour la partie ********/********, CA 500M)
- Architecture, implémentation, maintenance et support des bases de données des plates-formes ********/********. 15 Bases MSSQL, 150 Bases MySQL, 20 bases PostgreSQL, 3 base Hbase 0.94.2-cdh4.2.1 / Hadoop 2.0.0-cdh4.2.1
- Transfert des compétences métiers entre le DBA Munich et Paris en cdi.
- Implémentation cluster 3 nœuds, DataStax Cassandra 2.1 sur Centos, création keyspace, ccm
- Gestion de l’intégrité des bases de données ainsi que leur facilité d’utilisation
- Tuning et performances SQL Server 2008 (OLTP, mirroring Mssql avec témoin, réplication MySQL master/slave, service broker)
- Optimisation des performances / Modèle de données, procédures stockées
- Montée en compétence sur Hadoop/Hbase, Apache Cloudera 4.7 , installation cluster 5 nœuds CDH4
- Environnement : Linux Centos, Cassandra 2 .1, MSSQL 2008, MySQL 5, Hadoop, Hbase, PostGresql 8-9, Git, Jira, Agile Scrum

Sept 2014: Mission 2 semaines comme DBA Production Oracle pour la Française des Jeux – Vitrolles (Transfert compétences 2j puis 10j en autonomie pour finir le projet avec le chef de projet)
- Migration base critique Oracle 10G vers 11G avec Datapump
- Analyse des logs, vérifications, tests, tuning base
- Suivi avec ingénieur applicatif du bon déroulement sur les 2 semaines
- Rédactio...