Freelance Apache Samza : Les derniers consultants identifiés

Exemple des emplois d'Oussama,
freelance APACHE SAMZA habitant Paris (75)

• Techlead Big Data – Senior Data Engineer

  Carrefour – Paris –
  Jan 2022 - aujourd'hui

  Objectifs réalisés :
  • Conception et déploiement de stratégies pour les clusters Kafka, incluant la configuration, la sélection des machines
  et l'optimisation des performances.
  • Conception et optimisation de pipelines de données à grande échelle avec Apache NiFi et Confluent Kafka, assurant
  l'intégration fluide de flux de données en temps réel.
  • Intégration et déploiement de Kafka Confluent Cloud sur Google Cloud Platform (GCP), créant ainsi une infrastructure
  de streaming évolutive et résiliente.
  • Implémentation de solutions analytiques avec BigQuery, Dataflow et Compute Engine pour améliorer la prise de
  décision basée sur les données.
  • Automatisation des workflows avec Apache Airflow afin d'accélérer le déploiement de nouvelles fonctionnalités.
  • Mise en place des modèles d'architecture Kafka et NiFi, et élaboration des DAT (Dossiers d'architecture technique).
  • Optimisation des configurations des solutions de streaming (Confluent Kafka, NiFi).
  • Analyse et optimisation continues des performances des clusters de streaming Kafka et NiFi, et des chaînes de
  traitement de données en temps réel.
  • Conception et développement des modèles de traitements des données en batch avec Spark Scala.
  • Création de manuels de référence pour optimiser les performances et les traitements.
  • Participation active à la montée en compétences des développeurs sur les environnements techniques.

  Environnements techniques : Apache NiFi, Confluent Kafka, Google Cloud Platform (GCP), BigQuery, Dataflow, Compute Engine, Docker, Spark, Scala, Python, PySpark, Git, Gitlab CI

• Senior Data Engineer

  EDF – Paris –
  Jan 2020 - Jan 2022

  Objectifs réalisés :
  • Analyse et développement des solutions d'entrepôt de données sur Hadoop Cloudera, en définissant une
  architecture adaptée aux besoins.
  • Conception et Développement des parties d’ingestion et chargement des data streams sur HBase, en utilisant Kafka
  et Spark comme solution de streaming.
  • Conception d'une solution de transformation des données courbes de charge en utilisant des pipelines Spark Scala.
  • Modélisation des données, développement des ETL/ELT et entrepôts de données
  • Conception des flux de données ETL/ELT entre les datasets, SGBDs et API.
  • Création d'une solution de supervision des processus d'ingestion, en intégrant Kafka et NiFi pour surveiller et gérer
  les flux de données.
  • Transformation des données avec PySpark pour présentation sur API
  • Résolution des problèmes d'alimentation des données sur les flux existants, en optimisant les flux de données sur
  NiFi
  • Création et exploitation de tables externes/internes Hive avec HiveQL, Spark-SQL et Spark Scala
  • Création de requêtes d'analyse sur Hive pour répondre aux besoins métiers, en assurant une intégration fluide avec
  les différentes chaines de valeur.
  • Optimisation des performances des Jobs d’ingestion de données ( Spark, Hive SQL), en surveillant et en améliorant
  les configurations.
  • Collaboration avec le métier pour la définition des besoins
  • Conception et développement des Jobs de traitements de données avec Spark Scala

  Environnements techniques : Apache HBase, Apache Hive, Apache Kafka, Apache Solr, Apache Spark, Gouvernance des données, Atlas, Hadoop, Java, Linux, NoSQL, Système temps réel, Scala, Stack Big Data, Python, NiFi, Knox, ETL/ELT, AWS

• Senior Big Data Engineer

  VEON – Amsterdam, Pays-Bas -
  Jan 2016 - Jan 2020

  Objectifs réalisés :
  • Développement d’une solution de gestion des triggers en temps réel en utilisant Apache Kafka et NiFi, améliorant la
  réactivité des systèmes de gestion de télécommunications.
  • Pilotage du projet Telecom Network Management Solution : mise en œuvre avec Apache Kafka, NiFi, Hive, Spark
  Scala et Spark SQL pour optimiser la gestion et l'analyse des réseaux.
  • Conception et mise en place du projet de comptabilité analytique avec Informatica et Teradata SQL, intégrant des
  données complexes pour une analyse financière précise.
  • Intégration et gestion des datasets provenant de multiples sources sur Hadoop, renforçant la centralisation et
  l'accessibilité des données.
  • Développement de solutions pour l'entrepôt de données Hadoop et modélisation de données avancée, supportant
  des initiatives stratégiques de data warehousing.
  Utilisation des données et modèles de data-warehouse pour la création et l'amélioration de produits data,
  implémentant des cas d'usage business critiques.
  • Conception et mise en œuvre de flux de données ETL/ELT end-to-end avec Apache NiFi, assurant une intégration
  fluide et efficace des données.
  • Développement et optimisation de flux de données ETL/ELT pour divers datasets et SGBDs, augmentant la précision
  et l'efficacité des traitements de données.
  • Création et exploitation de tables externes/internes avec Hive QL, Spark SQL et Spark Scala, permettant des analyses
  complexes et à grande échelle.
  • Optimisation des performances des requêtes Spark/Hive/SQL, réduisant les temps de réponse et augmentant
  l'efficacité opérationnelle.
  • Développement de composants pour l'ingestion et le chargement de data streams sur Apache Kafka, facilitant la
  gestion en temps réel des flux de données.
  • Gestion de projets de datawarehouse et d'analyse de données à grande échelle, dirigeant des équipes vers des
  objectifs stratégiques et des résultats mesurables.
  • Analyse de grands volumes de données et extraction d'insights, guidant les décisions d'affaires grâce à des analyses
  approfondies.

  Environnements techniques: Cloudera, Apache HBase, Apache Hive, Apache Kafka, Apache Solr, Apache Spark, Hadoop, Java, Linux, NoSQL, Système temps réel, Scala, Stack Big Data, Python, NiFi, Teradata, Informatica, ETL/ELT, Microsoft Azure, Databricks

• Big Data Engineer et Administrateur du Système de Monitoring

  Optimum Telecom – Amsterdam, Pays-Bas –
  Jan 2014 - Jan 2016

  Objectifs réalisés :
  • Créer des rapports et des dashboards Business Intelligence sur Microstrategy ( Web, Desktop) , Tableau et Metabase
  • Développer des bases de données et des workflows ETL/ELT
  • Développer les transformations des données depuis leur état brut vers des cubes pour reporter et analyser les
  performances du réseau Telecom
  • Générer et fusionner des rapports depuis des sources multiples
  • Automatisation de la vérification de l’intégrité des données et de la normalisation des données
  • Développement des scripts Java, BAT et Shell pour le batch processing
  • Administration de multiple SGBDs tel que MSSQL et MySQL
  • Répondre aux demandes d'analyse ad-hoc et faciliter les acquisitions de données pour soutenir les projets internes,
  les projets spéciaux et les investigations
  • Expliquer clairement les résultats des données et discuter de la manière dont ils peuvent être utilisés pour soutenir
  les objectifs des projets
  • Dépannage et test du système de monitoring Télécom d'Astellia
  • Conception et développement des environnements de reporting et des sources de données
  • Développement des scripts d'agrégation, de calcul et d'analyse des indicateurs et des clés de performance Telecom
  • Gérer et maîtriser les données, y compris la création, les mises à jour et la suppression
  • Administration des utilisateurs et des rôles des utilisateurs métier ou du secteur IT/Telecom
  • Dépannage du réseau TCP/IP
  • Suivie des tickets avec le fournisseur Astellia

  Environnements techniques Hadoop, Apache Hive, Big Data Analytics, ETL/ELT, Microstrategy, Tableau, Metabase, BI, SGBD, MySQL, Java, Linux, AWS

• Software Engineer, télécommunication Engineer –

  Huawei Technologies – Paris, France –
  Jan 2012 - Jan 2014

  Objectifs réalisés :
  • Développement d'un outil de configuration de l'équipement MSAN en utilisant Java
  • Gestion du projet MSAN dans une région
  • Assurer la mise en service à toutes les étapes (Hardware et Software et Networking)
  • Diagnostiquer et résoudre les problèmes complexes des clients pour la mise en œuvre, l'ajout, la maintenance et le
  support des applications voix, données, VoIP et CTI.
  • Planification du calendrier de déploiement en fonction de la disponibilité des ressources Métier, matériel et humaine

  Environnements techniques : Java, Shell, Linux, VoIP, CTI, Python