Freelance Logstash : Trouvez les talents qui vous manquent

Exemple d'expériences d'Oussama,
freelance LOGSTASH résidant dans le Val-d'Oise (95)

Expérience professionnelle

Crédit agricole group infrastructure platform : Devops bservability
(03/2024 - actuellement).
En tant qu’ingénieur DevOps spécialisé en observabilité, je veille à l’adoption et à
l’usage efficace des outils d’observabilité (Elk, grafana, dynatrace) par les équipes
d’exploitation (Ops) et les maîtrises d’œuvre (MOE), en assurant leur formation et
leur accompagnement. J’administre et garantis le bon fonctionnement de 12
clusters Elasticsearch, en m’assurant de leur performance, leur disponibilité et leur
stabilité. Je conçois et j’automatise les processus d’ingestion des logs dans ces
clusters afin d’assurer une collecte structurée et fiable des données. J’accompagne
également les équipes projet de bout en bout, depuis l’expression de leurs besoins
jusqu’à l’intégration des solutions Elasticsearch adaptées à leurs cas d’usage.
&#9632 Reconfiguration complète de clusters Elasticsearch de production mal dimensionnés pour
l’ingestion de logs applicatifs. Réalisation d’un capacity planning, refonte des index templates
et des stratégies d’indexation. Correction des pipelines Logstash et création de nouveaux
index optimisés, assurant une ingestion fiable, performante et durable des données.
&#9632 Conception et création d’une interface web à destination des équipes Ops et MOE pour
déclarer dynamiquement les clés (le format) de logs. Intégration à une pipeline GitLab CI/CD
automatisée injectant les filtres dans Logstash, générant des merge requests, puis déployant
les configurations dans Elasticsearch via API après validation. Solution full GitOps, traçable et
industrialisée.
&#9632 Développement d’un microservice d’automatisation de la création d’espaces Kibana dédiés
pour chaque application. Génération automatique des espaces, rôles et role mappings,
assurant l’isolation et la sécurisation des logs par application. Solution facilitant la
gouvernance des accès et la lisibilité des données dans l’écosystème observabilité.
&#9632 Déploiement d’une solution d’observabilité pour les pipelines COBOL exécutés via Jenkins et
l’environnement IBM IDz. Automatisation de l’extraction et du retraitement des logs
d’exécution, avec injection dans Elasticsearch. Création de dashboards Kibana clairs et
opérationnels, permettant aux équipes de superviser en temps réel leurs traitements batch
mainframe, de détecter les anomalies et d’optimiser leurs workflows. Mise en visibilité d’un
environnement critique jusqu’ici opaque.
Environnements techniques : Kubernetes, Docker, Argo cd, jfrog artifactory, ELK (Elasticsearch, Logstash, Kibana),
Kafka, Python, Mongodb, HTML, css, JavaScript React Native, Grafana, Dynatrace.

CESI École d’Ingénieurs, Nanterre : Intervenant-formateur externe en
DevOps (2024-2025).
Enseignant DevOps en Master 1 et 2. Contenus pédagogiques enseignés :
&#9632 Architecture cloud native.
&#9632 Infrastructure des systèmes d’information.
&#9632 Stratégie d’hébergement applicatif.
&#9632 Observabilité.

Worldline : Platform Architect (de Janvier 2021 à 2024)
Architecture et construction d’une plateforme de Business monitoring.
Proposition d’architecture, et création de la solution de supervision des
transactions bancaires des clients utilisant les machines carte bleue de Worldline
(Ingenico) et les systèmes de paiement en ligne.
&#9632 Proposition d’une architecture globale de la solution.
&#9632 Réalisation d’une capacity planning.
&#9632 Création d’un script de génération des métriques de supervision (Python).
&#9632 Création des machines Redhat8 pour Kafka, logstash, kibana, grafana,
elasticsearch (Terraform).
&#9632 Création des modules puppet d’installation et de configuration de kafka, logstash,
kibana, grafana, elasticearch, metricbeat, filebeat.
&#9632 Création et automatisation d’un cluster kafka.
&#9632 Création et automatisation d’un cluster elasticsearch.
&#9632 Création de pipelines Logstash pour la récupération et l’injection de données
dans elasticsearch en passant par Kafka.
&#9632 Construction des dashbords de supervision sur Kibana et Grafana.
&#9632 Exposition des dashbords aux clients (grafana, processus réseaux et sécurité,
Haproxy, iptables…)
&#9632 Mise en place des scripts (exporters prometheus) de monitoring de la plateforme (Python)
&#9632 Mise en place des dashbords de monitoring de la plateforme (Grafana avec
prometheus comme datasource)
&#9632 Mise en place du processus de l’alerting sur Pagerduty.
&#9632 Création d’un système de détection des anomalies basé sur des scripts de machine
learning de prédiction des comportements futurs des données. (Python, Pandas,
hotwinter Arima, Sarima…)
&#9632 Création de playbook Ansible de maintenance des machines virtuelles et des
serveurs physiques de la solution.
&#9632 Documentation du projet.
Environnements techniques : suite ELK (Elasticsearch, Logstash, Kibana), Kafka, Python, Perl, Puppet, Grafana,
Prometheus, Terraform, HAproxy, ExaBGP,Ansible, Jira, PostgreSQL, Redhat 8, gitlab

RADèS : Platform Architect (Septembre-Novembre 2021) :
Définition d'une nouvelle architecture du projet sur le cloud d’une plateforme de
supervision RADèS : LIGHTHOUSE
Amélioration de l’infrastructure du projet : migration sur le Cloud AWS
&#9632 Conception et mise en œuvre d'une architecture logicielle d’une solution basée
sur Elasticsearch, déployée sur AWS et gérée par Kubernetes.
&#9632 Utilisation d'Elasticsearch pour le stockage et l'indexation de données, avec une
intégration transparente grâce à Kubernetes et Amazon EKS (Elastic Kubernetes
Service).
&#9632 Dockerisation du code Python existant en utilisant des Dockerfiles, suivi du
déploiement des images résultantes sur Amazon ECR (Elastic Container Registry).
&#9632 Configuration d'un cluster EKS sur AWS pour héberger le système, impliquant la mise
en place d'une VPC, la gestion des rôles IAM et la configuration des groupes de sécurité.
&#9632 Déploiement de l'infrastructure avec Helm, en personnalisant les charts pour
répondre aux exigences spécifiques du projet.
&#9632 Mise en place de la communication entre différentes composantes du système,
assurant un flux de données fluide de l'application Python à Elasticsearch via Logstash.

IBM : Stage en intelligence artificielle (Mars - Août 2021)
Etant donné une base de connaissances (un jeu de donnée RDF) et une classe cible qui est décrite par une
propriété booléenne décrivant l’appartenance à une classe (comme l’acceptation d’un prêt), le but est de générer
un ensemble de règles de la logique permettant de classifier les données de la classe cible. La génération de ces
règles est faite par le système AMIE 3.
Réalisations :
&#9632 Transformation de la base de données : Excel vers base de connaissance, selon
un modèle de graphe.
&#9632 Analyse et catégorisation des données suivant les types : variables discrètes,
variables continues.
&#9632 Développement d’un algorithme en python qui construit des intervalles et qui trouve
des seuils.
&#9632 Enrichissement de la base de connaissance : Développement du modèle de graphe.
&#9632 Utilisation du système AMIE 3 pour la génération des règles.
Environnement technique : Python pour la data science.

Coresponsable d'une chaîne youtube "The Techcave" mettant à disposition des
cours et formations :
&#9642 Introduction à l'interaction home machine.
&#9642 Docker container.
&#9642 Création d'une formation sur la Starck ELK (Elasticsearch logstash Kibana) (en cours)