CV/Mission d'Ingénieur data BIGQUERY freelance

Exemple de missions de Hamza,
Ingénieur data BIGQUERY habitant les Yvelines (78)

• Ingénieur CLoud & DevOps

  RedPill Paris
  Jan 2024 - aujourd'hui

  Contexte :Migration progressive des applications legacy de l&#x2019infrastructure VM OVH
  vers un environnement conteneurisé basé sur Kubernetes (OVH Public Cloud).
  Standardisation de la stack DevOps autour de Helm, GitLab CI, Terraform, Vault et
  MongoDB Percona.
  Objectif : améliorer la scalabilité, automatiser les déploiements, renforcer la
  sécurité et fiabiliser les processus de sauvegarde/restauration.
  1 - Migration d'applications legacy vers Kubernetes chez OVH :
  &#x25CF Étude de l&#x2019existant et conception des architectures cibles Kubernetes
  adaptées à OVH Public Cloud (instances, LB, stockage, DNS).
  &#x25CF Migration des services applicatifs depuis des VMs OVH vers des clusters
  Kubernetes avec Helm Chart, CI/CD GitLab.
  &#x25CF Mise en place de la configuration réseau (Ingress, DNS, firewall,
  LoadBalancer) et des PVC.
  - Déploiement et gestion de MongoDB sharded avec Percona Operator :
  &#x25CF Installation et configuration de clusters MongoDB 7 sharded dans
  Kubernetes avec Helm Chart Percona.
  &#x25CF Migration de données depuis des instances MongoDB 3
  (mongos/cfg/shards) sur VMs vers Kubernetes avec stratégie de
  réplication/restauration.
  &#x25CF Automatisation des backups/restores vers S3 OVH avec contrôle de
  l&#x2019intégrité.
  3 - Intégration de Vault dans Kubernetes pour la gestion des secrets applicatifs :
  &#x25CF Déploiement de HashiCorp Vault dans Kubernetes (auth Kubernetes,
  policies, approles).
  &#x25CF Intégration avec MongoDB pour la rotation automatique des credentials.
  &#x25CF Déploiement du Vault Secrets Operator pour l&#x2019injection dynamique des
  secrets dans les pods.
  4 - Sécurisation SSL complète des services MongoDB et Ingress :
  &#x25CF Génération automatique de certificats via cert-manager et Vault.
  &#x25CF Configuration TLS sur les endpoints MongoDB avec injection des certificats
  depuis Vault.
  &#x25CF Gestion des DNS, certificats et sécurisation SSL des services exposés via
  Ingress NGINX
  - Normalisation et industrialisation des Helm Charts pour les stacks internes :
  &#x25CF Refonte des valeurs Helm (values.yaml) pour automatiser les déploiements
  (Mongo, Gravitee, monitoring).
  &#x25CF Gestion fine des stratégies d&#x2019update, des probes, des resources et des
  secrets.
  &#x25CF Déploiement standardisé multi-environnement avec GitOps, variables,
  secrets chiffrés et CI Helm.

• Ingénieur CLoud & DevOps

  Quinten
  Jan 2021 - 2024

  Contexte : Conception et mise en place des architectures AWS.
  1 - Conception et mise en place d&#x2019une architecture de base pour tous les projets:
  ● Design:
  ● Conception de l'architecture des services AWS et établissement de la
  connexion entre eux.
  ● Services AWS utilisés : EC2, S3, IAM, RDS, ALB, Secret Manager, VPC,
  Route53.
  ● Build:
  ● Développement des scripts Terraform IaC.
  ● Mise en place de la connexion entre les services AWS.
  ● Run:
  ● Déploiement continu de l'infrastructure avec Gitlab CI.
  ● Configuration et changement des architecture au besoin du projet
  2 - Migration des applications depuis le déploiement sur des serveurs vers
  Kubernetes.
  Design:
  ● Conception de l'architecture des services actuels.
  ● conception de l&#x2019architecture cible micro-services.
  ● Build:
  ● Développement des scripts Terraform.
  ● Écriture des HELM Chart.
  ● Run:
  ● Déploiement continu de l'infrastructure avec Gitlab CI et AgroCD.
  ● Gestion des secrets dans Vault.
  ● Mise en place du monitoring avec Thanos, Prometheus, et Grafana.
  ● Transformation de la stack vers Kubernetes
  ● Support des équipes de Dev sur la nouvelle architecture.
  3 - Migration de l&#x2019infrastructure locale vers AWS:
  ● Design:
  ● Conception de l'architecture des services AWS et établissement de la
  connexion entre eux.
  ● Services AWS utilisés : EC2, ALB, RDS, S3, IAM, ECS, Secret Manager,
  Fargate.
  ● Build:
  ● Développement des scripts Terraform en tant que code infrastructure.
  ● Mise en place de la connexion entre les services AWS.
  ● Run:
  ● Déploiement continu de l'infrastructure avec Gitlab CI.
  ● Gestion des secrets dans Secret Manager.
  4 - Gestion des Landing Zone sur AWS:
  ● Gestion de multi-account sur AWS, sous forme de projets clients.
  ● Création des services sur les comptes AWS.
  ● Gestion de l&#x2019interconnexion entre les services inter-account.
  5 - Automatisation de la configuration des serveurs:
  ● Build:
  ● Implémentation des Playbooks Ansible.
  ● Run:
  ● Utilisation d'Ansible pour l'installation des packages et des services
  nécessaires (Docker, Python, Zsh, etc.).
  6 - Mise en production d'applications web sur des clusters Kubernetes:
  ● Design:
  ● Conception de la nouvelle architecture.
  ● Choix des services AWS et des ressources Kubernetes.
  ● Build:
  ● Configuration de Kubernetes, EKS, et HELM.
  ● Développement du backend en Python et Django, du frontend en
  ReactJS, et de l'API GraphQL.
  ● Run:
  ● Mise en production avec UWsgi, Daphne, et Supervisord.
  ● Utilisation de Nginx pour les déploiements de préproduction et
  d'Apache pour la production.
  7 - Support technique au niveau Système et Hardware:
  ● Environnement:
  ● Maîtrise des systèmes Linux, Debian, Samba, etc.
  ● Gestion des ressources physiques des serveurs et postes de travail
  (RAM, Stockage, etc.).
  8 - Supervision:
  Utilisation de Prometheus, Grafana, Karma, et ELK Stack pour la
  supervision.
  ● Orchestration des tâches Databricks avec Apache Airflow
  9 - Réalisation des PoC:
  ● Build:
  ● Comparaison des solutions de monitoring pour les jobs Spark
  (SparkLint, Sparkoscope, Dr-elephant).
  ● Run:
  Automatisation de l'installation de Kubernetes sur un cluster de
  serveurs physiques.
  ● Test de la haute disponibilité des applications web.
  ●

  Environnement Technique : Linux, Debian, Samba, AWS, Kubernetes, Terraform, Prometheus, Grafana, ELK Stack, Python, Django, ReactJS, Ansible.