Freelance Cloudera : Choisissez les savoir-faire nécessaires à votre projet

Résumé d'expériences de Guillaume,
freelance CLOUDERA habitant les Hauts-de-Seine (92)

• Freelance Architecte Technique /

  DevOps – Crédit Agricole SA
  Jan 2020 - Jan 2024

  Contexte projet: Equipe DevOps / industrialisation
  Mission:
  - Déploiement d’une IA generative sur le cloud Azure via ArgoCD (kustomize),
  Azure DevOps, Azure container registry.
  - Déploiement d’un cluster Kubernetes avec kubeflow sur openstack (via terraform
  / ansible)
  - Gestion de tous nos microservices IAAS via docker pour déploiement sur
  kubernetes via ArgoCD et Kustomize.
  - Déploiement d’un botmail sur le cloud GCP via VertexAI, gitlabci
  - Déploiement d’un cluster Hortonworks sur openstack via ansible
  - Monitoring: Grafana, Elastic, DataDog, Signoz, Dynatrace
  - Gestion des CVEs de tous nos microservices docker via gitlabci
  - Migration stockage de Scality S3 vers NetApp StorageGrid
  - Migration de notre outil d’annotation (de kili vers LabelStudio) sur openstack via
  docker
  - Gestion d’un cluster GPU avec RunAI: déploiement et gestion des images docker
  nvidia/cuda:11.6.2 avec tensorflow, torch, …
  - Déploiement d’un outil de differential privacy (SARUS) sur openstack via docker
  - Déploiement de Airflow sur nos namespace kubernetes via docker et helm chart.
  - Déploiement de la solution MLFLOW (1.9 and 2.11) pour le tracking des
  expérimentations et le model registry via docker
  - Déploiement d’un cluster KAFKA avec TLS et SASL.
  - Déploiement de Sonarqube sur kubernetes via ArgoCD (kustomize) avec le
  plugin ecocode pour mesurer les émissions CO2 de nos différents projets en
  python.
  DevOps et agilité :
  - Bonnes pratiques en IAC et (CI/CD)
  - Adopter une approche GitOps
  - Automatiser les tâches dans le but de simplifier et de produire rapidement avec
  qualité.
  - Expert dans tout ce qui concerne Kubernetes, Docker, Helm/kustomize,
  AnsibleTower, microservices et infrastructure as code.
  - Bonne communication, doté d’un fort esprit d’équipe.
  - A l’aise avec le débogage et la résolution de problèmes, puis avec la réflexion postmortem pour une solution à long terme.

  Environnement technique: Kubernetes, GCP, Azure, Helm/kustomize, Docker, Gitlab, Nexus, Sonarqube, MLflow, AIRflow, Ansible, Istio, ArgoCD, Elasticsearch, Logstash, Beats, Kibana, Prometheus, Grafana

• Data Architect

  Openvalue
  Jan 2018 - Jan 2020

  Mission: Faurecia – migration Cloudera du cloud IBM vers cloud Azure
  - IaaS: déploiement d’un cluster Cloudera sur Azure (12 nœuds en staging et 15
  nœuds en production), PPG, NSG et ressources groupes via Terraform.
  - Automation: déploiement des prérequis Cloudera CDH 6.3.3 via Ansible et CDP
  DC 7.1 via Ansible pour la partie Kafka. Déploiement de la base de données
  PostgreSQL via Ansible en master/slave avec une VIP Keepalived.
  - Encryption: implémentation du TLS pour tous les services Cloudera (Hue, CDSW,
  Navigator, Manager, Hive, Impala, HDFS, Yarn, Spark, HBase, Oozie)
  - Authentication: implémentation de l’authentification LDAPS pour les services Hue,
  CDSW, Navigator, Manager.
  - Kerberos: déploiement des packages via Ansible, ouvertures de flux, configuration
  SSSD, KRB5
  - Sentry: mise en place des ACLs HDFS, Hive / Impala
  - Backup: Etude et définition du besoin, implémentation des sauvegardes, tests de
  restauration sur chaque nœud.
  - Documentation: rédaction d’un DAT, DEX, REX
  - Managed Services: implémentation de la supervision (Grafana), outil CI/CD
  (Gitlab, Rudder), gestion des logs (Elasticsearch)

  Environnement technique: Cloudera CDH 6.3.3, CDP DC 7.1, Kafka, Azure Cloud, Terraform, Ansible

• Ingénieur systèmes et réseau

  HISI
  Jan 2014 - Jan 2018

  Mission : Gestion de projet / Architecte et déploiement
  - Architecture: LB, VIP (Heartbeat), replication BDD (PostgreSQL/MySQL)
  - Automation: Docker (ELK container deployment), Spacewalk (mise à jour /
  déploiement images)
  - Intégration projet: SSO Shibboleth/Apache, CRM Java, Tomcat (redondance),
  PostgreSQL (redondance)
  - Migration: Citrix 6.5 -> 7.6, Exch 2K10 -> 2K16, TSE
  - PRA: Veeam Backup & Replication
  - Réseau: migration cluster Fortigate HA, IPsec VPN
  - Formation: Support n1
  - Support: gestion d’incident niveau 1, 2, 3
  - Gestion de projet: Etude et définition du besoin, avant-ventes.

  Environnement technique: Docker, Spacewalk, Tomcat, LB, VIP, SSO Shibboleth Apache, CRM Java, PostgreSQL, MySQL

• Solution Architect – Big Data

  Xtendsys
  2013 - 2014

  Mission : Administrateur système et gestion de la supervision réseau management
  - Architecture: Design et implémentation des architectures techniques.
  - Projet: Définition des spécifications techniques, proposition de budget.
  - Intégration projet: Mise en place de la plateforme de monitoring (Icinga) et de
  ticketing (OTRS)

  Environnent technique: Icinga, OTRS

• Sécurisation d’un cluster Cloudera 6.1.1

  Mission : CNAV
  aujourd'hui

  - Sécurisation du cluster Cloudera 6.1.1.
  - Encryption: implémentation du TLS pour tous les services Cloudera (Hue, CDSW,
  Navigator, Manager, Hive, Impala, HDFS, Yarn, Spark, HBase, Oozie)
  - Authentication: implémentation de l’authentification LDAPS pour les services Hue,
  CDSW, Navigator, Manager.
  - Kerberos: déploiement des packages via Ansible, ouvertures de flux, configuration
  SSSD, KRB5
  - Sentry: mise en place des ACLs HDFS, Hive / Impala
  - Backup: Etude et définition du besoin, implémentation des sauvegardes, tests de
  restauration sur chaque nœud.
  - Documentation: rédaction d’un DAT, DEX, REX

  Environnement technique: Cloudera 6.1.1, CDSW 1.5.0, Ansible, Kerberos, LDAPS, TLS

• Implémentation d’un cluster Cloudera de PRA

  Mission : Unedic
  aujourd'hui

  - Déploiement du cluster Cloudera 5.16.2.
  - Automation :
  • Déploiement des prérequis Cloudera via Ansible.
  • Déploiement d’un cluster MySQL en mode multi-master avec une VIP
  Keepalived via Ansible.
  - Authentification: LDAPS
  - Securité: TLS / Kerberos.
  - PRA: implémentation d’une réplication HDFS, Hive chaque nuit.
  - CDSW: Mise ne place de scripts via l’API Cloudera pour la réplication CDSW.
  - Gestion de projet: Etude et définition du besoin.
  - Documentation: rédaction du DAT, DEX

  Environnement technique: Cloudera 5.16.2, CDSW 1.6, kerberos, ldaps, tls

• Mission: Metro Cash & Carry France
  aujourd'hui

  Migration Cloudera
  - Migration de Cloudera CDH 5.13.3 vers CDH 6.2.1
  - Automation :
  • Déploiement des prérequis Cloudera via Ansible.
  • Déploiement d’un cluster MySQL en mode multi-master avec une VIP
  Keepalived via Ansible.
  - Authentificaion: LDAPS
  - Securité: TLS
  - Formation: transfert de connaissances aux équipes et formation.
  - Gestion de projet: Etude et definition du besoin.
  - Documentation: rédaction du DAT, DEX

  Environnement technique : Cloudera 5.13.3, Cloudera 6.2.1, Jupyter hub/lab, Ansible, LDPAS