Missions Cloud AWS : Découvrez les dernières offres déposées

Résumé d'expériences de Jérôme,
freelance CLOUD AWS résidant dans ?

Architecte Data/DevOps AZURE
Kompai Robotics
janvier 2024 - aujourd'hui
Projets
o Acquérir et Interfacer des robots dans des environnements existants d𠆞ntreprises ou
organisation (hôpitaux, env. médical, …)
o Le projet est divisé en plusieurs parties :
▪ Gouvernance data pour les données sensibles
▪ Intégration des données
▪ Interfaçage Business avec des environnement existants (Warehouse)
▪ Analytics pour les logs
▪ Création de modèles pour IA
Responsabilités rôles
- Data et DevOps Architecte :
o Responsable (IaC) Création env Azure terraform
o Création Tables types DLT avec Unity Catalog
o Intégration des données dans un warehouse
o Mise en place CI/CD avec Azure DevOps
Environnement Data Analytique Data
- Lakehouse/warehouse
Technologies:
- Plateforme Azure
o Fabric
o Databricks Unity Catalog, Delta Live Table
o Azure functions
o REST-Api/Service Azure
o Azure SQL
- Langages
o VS Code for Python
o SQL
- Docker and WEB App
o Docker/Kubernetes/Terraform used to orchestrate Pod

Architecte Data/Solution Cloud AZURE Distributeur véhicules
D’ieteren (Belgium)
septembre 2021 - décembre 2023
Data Teams
- Lakehouse environ 10 personnes
- MDM 5 personnes
- Datawarehouse environ 20 personnes
- Data sciences 5 personnes
Responsabilités rôles
- Data et solution Architecte :
o Responsable de l’intégration des données et projets transverses (décrits ci-après)
o Participations à de projets business (décrits ci-après)
o Membre du comité CAB (Change Advisory Board)
o Coordination avec département d𠆚rchitecture, integration, et infrastructure
o Participation au projet data architecture ver 2.0
Environnement Data Analytique Data
- DataLake/lakehouse/warehouse
- Datawarehouse (Datavault)
Medaillion Architecture (lakehouse)
Technologies:
- Plateforme Azure
o Datafactory, dbt
o Databricks/DeltaLake/Synapse (POC de Fabric)
o Datalake ADLS Gen 2.0
o Azure functions (persistent)
o REST-Api/API-Gateway/WEB/Logic App
o Azure SQL
- Langages
o C# .NET 3.1, 6 & 7 Visual Studio 2022
o VS Code for Python
o SQL
- Docker and WEB App
o Docker/Kubernetes/Terraform used to orchestrate Pods.
- Outils
o SSMS
o PowerBI
o Postman
Projets métiers
- Venice
CRM pour garages. Importation de données pour analyse
- Renta
est la Fédération Belge de la Location de Véhicules. Cette association supervise deux
secteurs : la location longue durée et la location courte durée.
- Fin 2018, la flotte de tous les membres Renta réunis atteignait bien plus de 430 000
véhicules. Renta représente ainsi pratiquement 95% du marché locatif belge.
- Tracback
Anlyse d𠆚ppels téléphoniques.

Project Transverses
- DAB (Data API Builder avec GraphQL)
o Docker pour engine et pour Data API
o « Data API Builder », qui permet de mettre à disposition des modèles de données
via une API Rest ou GraphQL. Il peut s'agir de modèles de Machine Learning/IA qui
seront intégrés dans des rapports, ou encore simplement de rapports qui seront lus
par des outils de type Power BI.
- Monitoring & Logs
o Dashboard, KUDU, Application Insight, Azure Monitor

Architecte & Data Engineer Cloud AZURE
Volvo Truck (Lyon)
novembre 2020 - juin 2021
Plusieurs projets Business ont été planifié par l'architecture IT. Ces projets portent sur un
Datalake, BI, Data warehousing, Machine learning, IoT,… J'ai travaillé pour 4 d'entre eux.
Tous les projets sont réalisés en concertation et sur les conseils de Microsoft et Databricks.
Détection de fraude
Les logs des camions ont été sauvegardés et un modèle de tensorflow a été utilisé dans un
environnement databricks. La première version a été exécutée par batch, mais la prochaine génération
sera near real time.
Maintenance prédictive
Un service est utilisé pour déterminer quand les éléments principaux du véhicule doivent être remplacés.
Les clients se connectent à un site Web et sélectionnent des éléments de leurs véhicules. Ils reçoivent
un avertissement lorsqu’un élément à ont besoin d'attention.
Portage du code SAS
SAS sera remplacé par Synapse et le code de l’ ETL a dû être migré avec Databricks.
Raw Material
Il s'agit d'une nouvelle application anticipant les variations de coûts de la matière première. Cela permet
à l'entreprise de renégocier les contrats au moment opportun.
Les services et outils suivants ont tous été utilisés pour les projets sur AZURE
- Datalake ADLS Gen 2 (pour le stockage)
- Datafactory for data integration
- Databricks for ETL + Delta Lake + Synapse
- Python (Panda, …)
- MLFlow pour génération du modèle et testé pour le near realtime
- DevOps + GIT (AZURE)
- Serverless API avec Azure functions
- Logs Analytics et monitoring
- Power BI for pour les rapports

Architecte & Data Engineer Cloud AZURE
Roquette (Lille)
mars 2020 - novembre 2020
Mise en place d’une architecture complète pour une projet Big Data. Mise en place d’un datalake dans
lequel sont sauvegardées des données issues d𠆚pplications et machines industrielle. L’équipe Data
scientist est composée de 3 personnes, des sociétés extérieures sont intervenues sur certains projets.
Quant à l’équipe Data elle composée de 4 personnes. Le projet a démarré « from scratch ». Les
techniques utilisées sont les suivantes :
- ADLS 2.0 (RBAC & ACL pour autorisations)
- Datafactory
- Databricks pour l𠆞TL connecté à un VNet
- Qlik pour certains affichages de données
- CI-CD (DEV-OPS) pour les scripts et applications (Python)
- Gestion de la sécurité avec les ingénieurs Infra Azure
- Azure Log Analatics
D𠆚utre part, ce travail à nécessité une forte coordination entre les différents projets et beaucoup de
communication parmi les intervenants. (Le projet étant transverse). D𠆚utre part, des pipelines ont été
créés pour se connecter aux données on premises comme SAP ou des données SQL, ensuite des
scripts databricks sont utilisés comme ETL. (Je suis la personne qui a créé ces pipelines)

Architecte & Data Engineer Cloud AWS, AZURE
Korigan
septembre 2019 - février 2020
Portage d’une architecture AWS sous AZURE. Logs et IoT de robots industriels à stocker et analyser.
POC Big Data Azure
- EventHub (streaming)
- ADLS (pour le stockage)
- CosmosDB + SQL Datawarehouse
- Datafactory
- Databricks pour le machine learning
Etude GCP sur Stack Big Data: Big Query, Dataproc, Cloud dataflow et Airflow

Architecte Cloud AWS, GED, Openshift
Axa Assurances Paris
février 2019 - octobre 2019
Portage d’une application GED on premises sur le cloud AWS. Décomposition de l𠆚pplication en POD.
analyse des pipelines CI-CD.
- Environnement Multi-tenant, création d’un environnement sous Openshift. (Kubernetes)
- L𠆞nvironnement est en haute disponibilité en Clusters.
- logs gérés via EFK (Elasticsearch, fluentd, Kibana)
- Applications en Java, NodeJS
- DataBase Marklogic
- Artifactory pour la gestion des binaires (en cours)

Architecte Cloud AWS, Big Data, BI
Euler-Hermes Paris (filiale Allianz)
novembre 2017 - novembre 2018
L’objectif est de rendre l𠆞ntreprise « Data Driven ». Réalisation de l’étude d𠆚rchitecture.
Une architecture de type Kappa a été retenue. Toute l𠆚rchitecture est développée sur le Cloud AWS en
mode serverless.
• Réalisation d’une étude ayant pour objectif de rechercher les meilleures solutions Big Data. Les
outils Hadoop, Spark, Flink, EMR (AWS elastic Map Reduce), Kinesis, Kafka, ont été étudiés.
Pour la partie storage,BI, Snowflakes et Redshift ont été analysés ainsi qu’ Athena et Glue. Le
datalake a lui été créé entièrement sur S3.
• Toute l𠆚rchitecture est développée sur le Cloud AWS en mode serverless avec comme
message Broker Kinesis, capable d𠆚ssurer l’élasticité des pics de transferts d’informations.
Chaque application peut s�onner aux messages conservés par Kinesis.
Le premier projet est de transposer la BI en mode near real-time avec comme architecture le
modèle « Data Vault » capable de rendre les informations utilisables plus rapidement pour le
datawarehouse. L’outil de rapport Micro Strategy génère les différents rapports des différents
pays.
• La stack d𠆚mazon AWS a été principalement utilisée pour la cohésion des services offerts., Le
projet est géré en mode agile et toute l’infrastructure (Dev à Production) a été automatisée avec
Terraform, l’outil référence pour « l’infrastructure As Code »

Architecte Cloud, Big Data,
EDF Paris
juillet 2017 - septembre 2017
Audit, Stratégie et vision Big Data pour un projet omnicanal pour la société EDF. Un datalake a déjà été
mis en place afin de répondre aux exigences de ce projet. L𠆚udit a consisté à s𠆚ssurer que les besoins
(site EDF pour les clients) seront couverts.
Les attentes des datascientists et nombreux utilisateurs du datalake ont été aussi analysés et une
architecture cible et des recommandations ont été élaborées.

Architecte Cloud AWS-AZURE, Big Data, Docker
Korigan (start-up)
octobre 2014 - juillet 2017
L’objectif de cette société est de développer des services Cloud et Big Data pour le marché industriel. La
vision consiste à utiliser des technologies provenant du « Machine Learning » pour analyser en temps
réel ou en mode Batch des données provenant de machines industrielles, flottes de véhicules ou de
robots. Des accords ont été conclus avec des sociétés de robotique et industrielles.
Le service est une plateforme Big Data (********) sur le cloud qui consiste à acquérir des
données non seulement de machines, mais de différents capteurs externes via l’IoT. Ces données sont
ensuite traitées via des modèles mathématiques (Supervised et unsupervised learning)...