Conception et déploiement des pipelines de jobs Big Data sur Azure Databricks
Microsoft Azure, Databricks, Jenkins, Hadoop, Mapr, Spark, Scala, Unity Catalog, Kafka, Hive, Java, Airflow, Robot Framework, PrometheusConception et déploiement de composants back-end et front-end sur AWS, développement Python
(PySpark) sur un cluster Spark-Hadoop, administration de serveurs Linux (instances EC2), déploiement
back-end sur AWS Beanstalk en VPC privé, Route 53, API Gateway, AWS IoT + AWS Lambda (trigger).
Prototypage et programmation (librairies en langage C++) d’un capteur de puissance et développement
d'une application web en Angular en Front, monitoring et visualisation en temps réel (librairie amChart),
interaction avec BD PostgreSQL et InfluxDB via des API Python (Flask) en Back, gestion des cookies, de la
session, de l’authentification en JWT, structuration et monitoring des données reçues par les capteurs en
MQTT, mise en place de serveur web Nginx avec SSL.
PROJETS
• Mise en place d’un système RAG pour Chatbot intelligent – Équipe de 3
• Développement d’un logiciel de gestion stock, web en Angular et partie mobile en React-Native – Équipe de 2
Mise en place et supervision de cluster MongoDB, création d'agrégats de données, développement d'API
Python.