Dev/ops Big Data et Dev/ops Architecture
One Datalake
juin 2022 - aujourd'hui
- Développements des Collections Ansible pour le déploiement multi cluster Cloudera Data Platform base (hdfs,
hive, ranger, kafka, atlas, impala, knox,...) et compute (kafka, knox, zookeeper,…) et le déploiement De la
Solution Cloudera Data Services (Console, environnements, Datawarhouse, Machine learning,…) pour
industrialisation sur kubernetes, solution openshift. Création des Jobs et template AWX pour l’industrialisation.
- Support Niveau 3
- MCO
Sur le projet Baradoz :
Dev des collections Ansible et creation de l’environnement Awx pour déploiement :
- Industrialisation des déploiements des Annuaires Oracle
- Industrialisation stca jboss.
- Industrialisations diverses en fonctions des différents produits
- Industrialisation de la partie Bascule Aplicatives et Bascule de Salle.
Environnement Technique :
Cloudera CDP, Cloudera CDS, Cloud La Poste, Ansible, AWX, Openshitf, Gitlab, Nexus,Nginx, Jboss,…
Sur projet Phenix Big Data Carrefour (mode agile), Conceptions de rôles ansible, projet as code tout environnement (dev,uat, pilot,preprod,prod,sit,tat,…)
Carrefour : Dev/ops Big Data
janvier 2016 - mai 2022
• Projet Monitoring: icinga2 (full api), prometheus (+ exporters) et alertmanager.
• Loadbalancing: Haproxy
• Moteur de recherche: Elasticsearch
• Divers rôles à la demande du client.
• Evolution des rôles ansibles pour mco.
Conception Unité de développement pour CI et CD:
• Docker Rundeck: Centralisation des déploiements as code et ordonnanceur intra cluster.
• Docker jenkins: CI
• Docker githttp et pypi: Un git synchronisé avec GitHub pour accès locaux et un serveur de
librairies python.
Conception pour Cloud Openstack(network, LB, FIP, instances, volumes, key pair):
• Provisionning full Ansible(Module opens stack).
• Provisionning ansible + Terraform
• Provisionning Ansible + Heat (contrainte anti affinity + Colocalisation de volume)
• LoadBalcing Openstack: Terraform + Heat. Remplacement haproxy (sauf L7 avec regex).
Conception pour migration vers GCP (compute engine essentiellement):
• Provisionning Ansible et gcloud deployment en yaml et python.
• Déploiement environnement et mco:
• déploiement environnement et middleware as code et évolution du code:
• Provisionning des machines en baremetal et sur cloud Openstack (ansible, terraform et Heat)
Laurent ******** Dev Ops 1
• middleware big data: cloudera (hadoop, hue, hive, yarn, spark on yarn, oozie, zookeeper)
• middleware traitement temps réels: Mesosphère (mesos, marathon, zookeeper)
• Backend storage: Galera cluster, Cassandra, kafka, elasticsearch
• N3 tout environnement:
- Cluster Online des traitement temps réels: Api et service en docker sur Marathon, Mesos.
- Cluster Offline (hadoop) des traitements batches: Suite Cloudera.
- Backend
• Divers:
- Formateur git et best practice agile équipe ops, ansible.
- Astreintes N3 Prod.
,…
Environnement Technique:
Cloudera, Mesos, Marathon, elasticsearch, kafka, cassandra, mariadb galera cluster,
Jenkins, Rundeck, azkaban, Nexus, Openstack, GCP, Docker , Ansible, terraform, Heat, Icinga2, Prometheus,
Alertmanager, grafana, elk, GitHub, Python, Bash
Consultant Linux (pôle production)
ETAI (Logicielles Automobiles)
juin 2012 - décembre 2015
• Projet Changement d’hébergeur : Migrations des applications Jee (from scratch), des flux, jobs
etc. vers le nouvel hébergeur :
o Configurations Complètes des environnements.
o Campagne de Bench chez les deux hébergeurs.
o Recette des applications.
o Gestion des bascules applicatives.
o Validations des migrations.
o Déploiement des configurations middleware et systèmes par puppet.
o Uniformisation du parc.
• Etude et mise en place de l’outil d’ordonnancement open Source Job Scheduler pour
l’automatisation des MEP et lancement de tout type de tâches.
• Développements des shell pour l’industrialisation et l’intégration dans l’outil JobScheduler.
• Architectures hautes disponibilités, outils: Corosync, pacemaker, heartbeat, haproxy et mysql.
• Intégration de l’Architecture VmWare esxi5
• MCO sur les applications JEE et systèmes Linux.
• Documentations Techniques.
• Gestion des incidents et problèmes.
• Tuning Jvm, mysql, système,...
• Benchs applicatifs avec jmeter.
• Architecture déploiement : Serveur Fai Debian, Puppet
• Gestion des versions sous Git (gitlab) et svn.
• Utilisation : Itop, Wiki, Jira. Alfresco..
• Projet de migrations des jobs sous Rundeck et ansible.
• Migrations de bases de Mysql à Mariadb.
• Nouveau projet applicatif en haute disponibilité : Document d’Architecture infrastructure et
configurations. Technologies : haproxy, Apache, Tomcat, glassfish, replication Mariadb et
Mysql, PostGreSQL, cluster MongoDB et cluster Elasticsearch
• Gestion des Livrables et documentations pour l’hébergeur et les applications en N3.
• Migration vers l’agilité : CI avec jenkins, nexus et git. CD avec Rundeck et ansible
Environnements techniques : Débian 3 à 7. VmWare Esxi5 et vsphere 5.5. Dell et hp. Appplications JEE, apache,
tomcat, glassfish, mysql, mariadb, etc.
Publicis (Architecte et ingénieur open-source) : renforcement équipe suite suractivités
février 2012 - juin 2012
• Architectures et intégrations des nouveaux projets.
• Documentations avant livraisons : Exploitation et configuration pour équipe EMEA
• Technologies : Plates-formes LAMP, applications JEE sous Tomcat (Mise en place de cluster
tomcat) : Divers sites clients, application internes…
• Serveurs Oracle 10G, 11G (RHEL 5.5)
• Divers CMS ; joomla, typo,autres…
• Migration et sécurisation de Sites « Rootkités » (denyhost, tcpwrapper, iptables, chroot…)
• Industrialisation par script shell
Environnements technique : RHEL 4,5 et 6. CentOs 6.X, Freebsd, SLES11. VmWare vsphere 4.1 Blade HP, baie
EMC symmetrix, serveurs standalone IBM etc. Environnement hétérogène.
BFBP (Banque fédérale Des Banques Populaires) Puis BPCE
mars 2009 - février 2012
Réalisations : • Ré internalisation des applications du domaine risque de Natixis vers la BPCE.
Migration de l’environnement de calcul des risques Fermat Bâle II et refonte de la chaine
de traitement pour le calcul ratio.
• Architectures des nouvelles infrastructures ; Citrix, J2EE, LAMP et divers.
• Création des dossiers d’architectures, de paramétrages et d’exploitations utilisés en
interne et par l’hébergeur (IB-P).
• Mise en place de la solution de déploiement des systèmes linux, tuning, solution
multipathing et divers paramétrages.
• Déploiement de l’infrastructure Linux RedHat, Microsoft, Vmware (server et ESX) et
citrix.
• Déploiement Fermat Bâle II sous citrix pour les clients. Installation et paramétrage des
serveurs de calculs. Déploiement en JEE sous apache/tomcat.
• Développements et reverse engineering Shell pour simplification de la chaine de
traitement Fermat et adaptation sous Linux. Scripts bash, ksh exécutant du java ou des
requêtes SQL en interaction avec de l’Oracle et du DB2.
• Création des chaines de traitements Dollar Universe multi plates-formes.
• Installation et paramétrage de serveurs divers : Samba, svn, apache, cacti, postfix,…
• Support N3, AMOE, Récurrent de production, évolutions applicatives.
• Etude De la migration des Chaines DollarU vers Open Source Job Scheduler
• Intégration d’applications bancaire sur LAMP : Crédit Coach, Reco…
Environnement technique :
Lames HP BL460C et BL680C, Vmware Server (dev ) et ESX (qualif,production), RHEL 4.7, RHEL5.3,
Server W2K3, Baie NetApp et EMC. Bases : Oracle 10GR2, 11G DB2.
Ingénieur Système LINUX de production et cdp
Billetel
janvier 2009 - février 2009
• Migration applicative apache/tomcat et mysql en cluster :
planification, communications avec les différents
interlocuteurs ; hébergeur, développeurs, fonctionnel.
• Production de documentations.
• Tâche courante d’exploitation en production :
Environnement apache, tomcat, jboss et mysql
Environnement technique :
Matériel proliant DL580 RHEL4 et RHEL5 chez plusieurs hébergeurs. Firewall Cisco pix et Asa, loabalancer
f5
Ingénieur Système LINUX et HPUX
ANPE
juillet 2007 - décembre 2008
• Environnement de Production et projet (200 serveurs)
• Mise en cluster RedHat de dollar Universe sous rhel5.2
• Installation, configuration et paramétrage des Cluster
RedHat pour Solution Oracle et/ou File systèmes GFS
partagés sur SAN.
• Virtualisation de serveurs de développement avec Xen
(en paravirtualisés) sous RHEL 5.1. Test de Kvm.
• Administration des clusters (ServiceGuard) et serveurs sur
Superdome HPUX (64 processeurs).
• Paramétrage de Rawdevices pour Oracles 10gRac sous
Linux RHEL4 et RHEL5 et/ou présentation des disques
pour Oracle ASM. Tuning Linux pour performances
Oracle
• Paramétrage de Sendmail et Procmail pour la gestion et
l’envoie de mail d’******** (candidats, employeur,..)
représentant une volumétrie d’environ 3 millions de mails
par semaine. Reporting (SMA) et support sur cette
architecture en cas d’incidents.
• Administration courante de RedHat Serveur (V3, 4 et 5)
et HPUX: FS, utilisateurs, métrologie et diverses
demandes. Environnement applicatif apache,
Weblogic, scort et tomcat....