François - Architecte Technique Big Data | Administrateur Hadoop N3 | Expert Technique Big Data

Expériences professionnelles

Architecte Technique et Solution Big Data
Kemet Consulting SAS
Mai à Août 2023
4 mois
A distance, Corbeil-Esses

Projet « CaaS » Cluster as a Service :
Réalisation d’un projet « (Big) Data Cluster Delivery »
o Solutions implémentées avec 3 produits au choix ou mix (CDP PVC, CDP PVC Plus, Hadoop Core)
o Mise en œuvre et livraison d'un SI Big Data incluant un cluster Hadoop de base (BASE Cluster)
o Adjonction de n centres de calcul (COMPUTE clusters), selon l'Expression des Besoins (réalisable au moment de la livraison ou à posteriori)
o Licence unique pour l'ensemble du cluster BASE + les COMPUTE (scénario CDP PVC/PVC+)
o Architectures Lambda, Kappa, Datalake, Datawarehouse, Datamart, Datalakehouse, Multi-tenant/canal, Hybride et Bare Metal.
o Équipements réseau (routeur, switch) préconfigurés et adaptables à l'environnement et au réseau cibles
Environnement : 2 serveurs BDD PostgreSQL (actif/standby), Gestion des Accès et des Identités dédiée ou intégrée à l'existant (avec domaines et sous-domaines LDAP/DNS/Kerberos opérés par FreeIPA (Utilisateurs, Services, Nœuds, divers services associés dont PKI intégrée dans l'offre (gestion de certificats utilisateurs, serveurs et services).
Compétences : Cloudera Data Platform PVC/PVC+ · Hadoop Core · Ranger Admin · Apache Knox · CentOS Stream 8 · Documentation technique · Architecture en couches · Kerberos · Security by design · ETL · Architecture technique/Infra/SI · Big data · Administration Hadoop · Ansible · Gestion des identités et des accès (IAM) · PostgreSQL· Linux

Architecte Technique Big Data
Direction générale des douanes et droits indirects (DGDDI)
Missions accomplies :
Janvier 2022
à Mai 2023
1 an 5 mois

Hybride, Paris/Toulous.

o Rédaction du plan d’action global
o Étude/Conception/Implémentation d’Architectures Hadoop
o Documentation technique (DAT, Schémas d’Archi Technique, KB & sécurité, Docs Exploita°)
o Optimisation de configurations Hadoop complexes
o HA YARN RM, HDFS, Oozie, Ranger, Knox
o Formations à l’équipe, Présentations techniques
o Mise en place d’un Plan d’Action Global cadrant
o Accompagnement migration HDP/CDP (cross-trust Kerberos, policies Ranger via API CM/Ranger et scripting, dévt script distcp pour copie des données
Environnement : CDP 7.1.7, HDP 3.1.5, Ambari 2.7, RHEL7/8, Ansible 2.9, PostgreSQL 9, Kerberos, Red Hat IDM, Informatica 10, Tableau, Conda, Python, Jupyter Hub
Compétences Techniques : Cloudera Data Platform · Hadoop · Ranger Admin · Apache Kafka · Apache Knox · RHEL · Cloudera · Documentation technique · Architecture en couches · Kerberos · Systèmes de gestion de la sécurité · ETL · Architecture technique · Big data · Administration Hadoop · Ansible · Gestion des identités et des accès (IAM) · PostgreSQL · Ambari · Linux
Solutions Data apportées : Sur base d’exigences métiers pilotées par l’indice DICT, la maintenabilité, l’observabilité et l’exploitabilité,  Implémentation Ranger Admin (Security by design, RBAC/HBAC, Data Masking), HUE (Exploitabilité, UX, Reporting, Co-working), Oozie (Traçabilité, Workflow), Kafka (SOA/ESB), Atlas (Gouvernance des données), Vulgarisation des API/endpoints Hadoop/CDP (Exploitabilité, MCO)

Août 2020 à Déc 2021 Val Fontenay
DevOps Ansible Big Data / Société
Générale
Implémentation industrialisée d’architectures mixtes
Automatisation des déploiements de clusters CDP
Automatisation de la Migration de clusters HDP → CDP
Support N2, DevOps Build/Run en agile/stretch
Mise en place d’un important DRP/PRA inter-sites
Clustering Haute-Dispo sur les composants Hadoop
Environnement : CDP 7.1.x, SCM 7.2.x, HDP 2.x/3.x, Ambari 2.x,
RHEL6/7, Ansible Core, PSQL, IDM/Kerberos, LDAP, Tous services Hadoop

2020/Mars... Safran Aircraft Engines (Villaroche)
Expert Infra Hadoop
Assistance Migration HDP vers CDP puis Administration de la nouvelle plateforme
Sécurité et stabilisation des environnements clustérisés
Introduction de LLAP, Optimisation des ACLs, ACIDification
Projet Apache Drill, MongoDB

Environnement: HDP 2.x, CDP 3.x, RHEL6/7, Ansible, PostgreSQL

2019/Juin – à ce jour Kemet Consulting SAS (Corbeil-Essonnes)
(Formateur) Architecte Technique Hadoop – Expert Systèmes Linux – Administrateur MDW
(Dans le cadre de nombreux projets dont la formation dans le domaine de la production)
Cadrage, Expression du besoin, Définition/Implémentation d’Architectures Techniques
- POCs, usecases, Accompagnements projets, ingénierie de formation sur la production opérationnelle
Expertise Systèmes Linux et Open Source
- Industrialisation/Automatisation via Ansible, Deep Troubleshooting and RCA
Expertise MiddleWare, ETL (Déploiement, Stabilisation, ROI)
- TALEND, TIBCO, JBoss, ELKB
Administration Système et Hadoop, Architectures Logiques et Applicatives
- HDP : Installation/Déploiement via Blueprint/Ansible et Ambari, Migration, Déploiement, mise en HA | Cloudera : via Cloudera Manager | IOP : via Ambari

Environnement: HDP, CDH, CentOS6/7, Nagios Core, Centreon, Zabbix, Ansible 2.6/2.7/2.8.5/2.9.1, PSQL, Vmware, Kubernetes...

2019/Oct – 2020/Jan BRED (Paris/Joinville-Le-Pont)
Consultant Big Data – Ingénieur-Architecte de production – Admin Système Linux (Production (MCO, RUN), Cadrage, Définition et Implémentation d’une nouvelle Architecture Hortonworks pour la migration de la plateforme Big Data IOP 4.1.0 vers HDP 2.6.2, Déploiement via Ansible/Blueprint, Sécurité (Authentification, Habilitation/Autorisation, Services, ACL), Use case & POC, Provisioning)
Gestion de la Production, Architecture Technique & Documentation
- MCO, RUN, Gestion d’Incidents N2/N3, Exploitation/Administration
Assistance/Administration Hadoop
- Incidents BigSQL/Hive, Migration/Déploiement, Projets YARNisation jobs Datastage, ...
Assistance/Administration Datastage
Assistance/Administration Système

Environnement: HDP 2.6.2, IOP 4.1.0, RHEL6/7, POM (Nagios), Ansible 2.6/2.7/2.8.5/2.9.1, PGSQL, Hive, Ambari, YARN

2018/Jul – 2019/Sep Société Générale (Val de Fontenay)
Consultant Big Data – Expert Talend – Admin Système Linux (Teach Lead, Définition/Implémentation d’Architectures, Build/Run sur 5 environnements Talend , 2 architectures distinctes / 3 environnements Hadoop)
OPS Technical Lead & Architect : TALEND for Big Data
- Définition d’Architectures HA & rédaction du DAT, DEX et DIES
- Relations avec l’éditeur, support N2/N3, gestion des licences
- Implémentation et Installation technique par Ansible
- Administration du socle HDP & Talend for Big Data (+DI/DP)
- Accompagnement des projets et métiers sur les MEP
- MCO, Troubleshooting, Task-Forces, Workshops, STEERCO, Dailys
→ Garant du RUN Talend (50 projets, 150 jobs, 400 tâches, 2 DSI)
→ Environnement : RHEL 7.x, Talend 6.4.1, Stack HDP 2.6
Administrateur SOCLE Big Data
- Accompagnement des projets et métiers sur les MEP
- MCO, Troubleshooting, Task-Forces, Workshops, STEERCO, Dailys
→ Garant du RUN Talend (50 projets, 150 jobs, 400 tâches, 2 DSI)
→ Environnement : RHEL 7.x, Talend 6.4.1, Stack HDP 2.6

2017/Jan – à ce jourSociété Générale(Val de Fontenay)Consultant Big Data

(Expertise Open Source, Hadoop IHM/CLI/tools, Continuous Delivery)
Environnement:
Distribution Hadoop HDP 2.4/2.6, RHEL6/7, Nagios, Ansible, PostgreSQL, HIVE, Oozie, HUE, Kafka, Ambari, Spark....

Activité: Banque & Finance
*
Contexte et poste occupé:
Big Data, Middleware, Open Source, Talend for Hadoop, IBM Sterling Connect:Express,
SQL/NoSQL, Architectures et SI Hadoop, Cloud, Cérémonies agiles, DevOps, Intégration de projets, BUILD&RUN
* Mission et rôle:Garant de la production et de l’exploitation
* Gestion de Projets et Implémentation d’Architectures:
Accompagnement des architectes – Contribution aux phases d’étude et de réalisation (respect des normes, connais
-sance globale de l’environnement) – Mise en place de schémas logiques/techniques – Intégration des nouveaux besoins
au sein de l’infrastructure existante – Déploiement de ces besoin sur de nouveaux environnements (migrations, évolu-tions d’architectures, mise en Haute Disponibilité des grappes de serveurs (custom ou éditeur)...
* Gestion du RUN, et Intégration de solutions :
Déploiement, Supervision, Suivi de solutions – Expertise sur l’analyse et la gestion des incidents – Ordonnancement, mo-nitoring – Processus ce changements, mise en œuvre de task forces pour la résolution de projets à étapes bloquantes

2011/Nov – 2017/DécPMU(Ris-Orangis)Ingénieur Système SI

(Expertise Red Hat, Spécialiste TIBCO & Red Hat GFS2 Clustering)
Environnement:
RHEL5/6, AIX 6/7, Nagios/Centreon, Puppet, Kickstart, RHQ/Jopr, Lamp, Oracle, MySQL, PostgreSQL...
Activité: Courses & Paris Hippiques, Paris Sportifs, Jeux
* Contexte et poste occupé: Middleware, Open Source, SOA, Mainframe, SQL/NoSQL, Datacenter, Architectures com-plexes et urbanisées, LAN/SAN/MAN/MPLS/VPN, VMware, 3x8, HO/HNO, Astreintes

2009/Mar – 2011/OctPublicis France(Paris)Ingénieur Systèmes multi-OS

(Spécialiste LAMP, Novell, Mac: eDirectory & Open Directory)
Environnement:
Linux SLES, CentOS, Fedora, Mac OS X, Novell NetWare 6.5, Spacewalk, Lamp, Oracle, MySQL, PostgreSQL...
Activité: Hébergement Web, Publicité-Marketing, Communication institutionnelle
* Contexte et poste occupé:
Open Source, SAP, SUMMIT, SQL, Web, Datacenter, Citrix, SAN/WAN/VPN, , VMware, 2x8
2008/Jan –2010/MarComputacenter France(Roissy-en-France)
Ingénieur Informatique / Consultant Téléservices
(Open Source)
Implémentation supervision réseau et système (centre de production industrielle). Solution NAGIOS/RHEL
Pilotage de projets de monitoring basés sur des solutions full open source utilisant les plugins et outils des fabricants
Environnement: Linux Debian, CentOS, Lamp, MySQL, DRBD, RaidOverIp, SAMBA, VMware Server, Nagios
Activité:
Vente de matériel et solutions informatiques*
Contexte et poste occupé: Web, Datacenter, Téléservices, Prestation de services et télémaintenance, Formation

2007/Aoû - 2007/Sep HEXALIS groupe OVERLAP (Courbevoie)
Administration IBM AIX / TPC (SAN) - (Stage 2 mois)

Installation, Configuration et Administration de TotalStorage Productivity Center v3.3 d’IBM sur AIX 5.3, TL06
Environnement:
Windows, AIX, Linux, Ssh, Xdmcp, Xming, Xwin-32, Ftp, Telnet, Apache, Websphere, DB2

2006/Oct - 2007/JanOVERLAP (Courbevoie)

Ingénieur Système-Réseau indépendant - (SSII ABC Consultant)

Intégration/déploiement: EADS Toulouse, GEFCO Courbevoie, BNP Private Equity Paris, Dupont Restauration IDF

Environnement: SLES 9 / Windows XP Professional / Windows Small Business Server – Exchange 2003 / Rackage-cablage

2004/Août - 2007/Juill Projet de création de SSLL (France/Afrique)

Chef de projet LINUX/SAMBA/WINDOWS/UNIX - (SSLL Linopsys)
Conseil, Formation, Intégration, Assistance Utilisateurs, Administration Systèmes & Réseaux Centralisée

Environnement: Distributions Linux et dérivées, Samba for Windows, Solaris & OpenSolaris

2004/AoûtCrédit Agricole Montparnasse (Paris XV)

Chargé d'inventaire du parc informatique - (SSII Ajilon IT)
Windows XP Professional / Lotus Notes / Red Hat Linux / Solaris / VLAN / Bloomberg / Traceur HP / Salle de marché
Environnement: Solaris, Stations Sparc, Lotus Notes, Linux Red Hat, Windows XP

2004/Juin - 2004/JuillCNH France (Le Plessis-Belleville) Administrateur Système-Réseau WINDOWS - (SSII Ajilon IT)

Administration de serveurs NT4/W2K-3 (reorganisation des BDC et PDC); Migration de postes clients vers W2K et WXP
Environnement:
NT4 Wkst / NT 4 Server / Windows 2000/XP Professional / Windows 2000 Server, Windows 2003 Server

2003/Sep - 2004/MaiSAP Global IT France (Paris VIII)

Administrateur Système-Réseau LINUX/WINDOWS - (SSII Ajilon IT)
Administration serveur/client Linux (réplication rsync/ssh, mirroring, développement), Gestion AD/OU de Windows
Environnement:
Windows 2K/XP Pro / 2K Server /SLES 8 / Red Hat 9 / Solaris / SUSE 9 & 10 / Fedora Core 1,2,3

2003/Mai - 2003/JuinPHILIPS France (Suresnes)Administraeur Système LINUX - (Stage 2 mois)

Industrialisation processus d’installation / configuration Red Hat / Rational Clearcase;
Environnement: Linux Red Hat 7.2, Solaris 8, Windows 2K/XP, Citrix, Shell Scripting

2002/Nov - 2003/Mai GRETA Sud Tertiaire 93 (Noisy-Le-Grand)

Administrateur de Sites Intranet/Internet LINUX - (Formation 7 mois)
Systèmes/Réseaux environnement hétérogène; Installation/Configuration interconnexion réseaux (Linux, Windows)
Environnement:
Linux Debian Woody, Knoppix, Samba, Php, Mysql, Perl, Shell Scripting

2000/Déc - 2002/OctIBM Global Services (Noisy-Le-Grand)

Support Technique Niveau 2, trilingue anglais-allemand - (Global Phone Solution)
SPOC: Single Point Of Contact: Support Technique Européen (France, Allemagne, UK), Geodis, Philips, Solectron,..Environnement: Windows, LAN / WAN (Citrix, Tivoli), Lotus Notes, BaaN, TSD-eSM, DPU-Umbrella, ManageNow

Autres exériences

2000Société B3
Chargé d’enquête marketing(Etudes statistiques)

Avril1999 - 2000IFOP,Enquêteur vacataire (Institut d’enquêtes)

Mars à Mars1999CPM Field Marketing, Vendeur démonstrateur (Marketing opérationnel)

Septembre1998GAP Kids,SeptembreStages universitaires2000BNP PARIBAS, Assistant chef de produit monétique (Marketing bancaire)

Avril à Juin1998 - 1999Société DII, Assistant marketing direct (Communication évènementielle)

Décembre à Mars 1997 Société YOULIS Conseil, Chargé d’études
(Communication d’entreprise) Juillet à Septembre