Fares - Data Engineer

Ref : 221020S002
Photo de Fares, Data Engineer
Compétences
AZURE
APACHE KAFKA
SQL
APACHE HADOOP
Expériences professionnelles
  • Ingénieur Big Data

    Boursorama
    Jan 2021 - aujourd'hui

    Contexte du projet : Développement des jobs temps réel et des tests unitaires et la
    mise en place des scénarios métier ainsi que la Conception et la migration des
    scénarios de conformité métier.
    Tâches effectuées :
    • Benchmarking et application de l’allocation dynamique sur Zeppelin pour
    optimiser l’utilisation des ressources.
    • Développement d’un job temps réel afin de valoriser des données Kafka dans des
    tables Cassandra après traitements.
    • Développement des tests unitaires.
    • Développement d’un job Spark en Python afin d’appliquer les règles métier et le
    déployer sur Jenkins.
    • Migration des scénarios de conformité afin d’optimiser la qualité des alertes par
    une méthode intelligente Machine Learning.
    • Conception des tables et la solution à appliquer (les tables référentiels, tables
    agrégations …).
    • Compréhension des règles métiers et les sources des données à utiliser.
    • Développement d’un job Spark en scala générique configurable pour les 23
    scénarios métier.
    • Réalisation d’une phase recette avec les métiers.
    • Participation à la création d’un process NIFI pour envoyer les alertes générées à
    Oxygéné.
    • Documentation des règles métier et les choix technique sur Confluence.
    • Participation à la création des taches Jira.

    Environnement technique : Hadoop, Kafka, Spark, Scala, Pyspark, Hive, Cassandra, Nifi, Intellij (SBT), Jenkins
  • Ingénieur Big Data – Azure Cloud

    Orange
    Jan 2019 - Jan 2021

    Contexte du projet : Migration d’une base de données oracle ainsi que plus de 30 jobs
    et 100 rapports de sending vers une plateforme Big data Azure.
    Tâches effectuées :
    • Etude et compréhension des différentes problématiques relatives aux différents use
    cases, compréhension et mesure des enjeux métier.
    • Benchmarking des différentes solutions relatives à chaque use case.
    • Développement de jobs (Processor Group) de collection de données par Nifi en
    les stockant dans Datalake Storage GEN2.
    • Traitements des flux des données en déployant un job Template Spark sur
    Databricks (Scala).
    • Développement de jobs Spark Scala sur Databricks afin de migrer les différents
    rapports de sending à partir de l’ancienne solution.
    • Optimisation de code spark afin de garantir des performances optimales.
    • Définition du dimensionnement adéquat à chaque job selon les différentes
    ressources demandées.
    • Développement d’un Job spark scala en temps réel afin de valoriser les données
    gestionner via Event Hub dans une base de données Cosmos
    • Réalisation d’une phase de recette des différents jobs via des requêtes SQL en
    effectuant une étude comparative avec l’ancienne solution afin de vérifier
    l’intégrité des données.
    • Planification et ordonnancement des services avec Data Factory.
    • Pilotage des opérations de maintenance corrective et évolutive et Monitoring
    des différents jobs via des alertes et envoi de mails.

    Environnement technique : Azure, Spark Databricks, Scala, Cosmos, Data Factory, Nifi, Event Hub,Datalake Storage Gen2.
  • Ingénieur Data

    Sofrecom
    Jan 2018 - Jan 2019

    Contexte du projet : Mis en place d’un système de prédiction permettant d’anticiper
    la saturation d’appels dans un centre de contact et garantir une expérience client
    optimale.
    Tâches effectuées :
    • Animation de workshops avec l’équipe métier pour le recueil des besoins et la
    rédaction des spécifications fonctionnelles.
    • Recueil du besoin technique et étude des choix technologiques possibles.
    • Définition des différents KPIs et indicateurs en se basant sur une étude statistique
    unidimensionnelle et bidimensionnelle et validation avec les managers.
    • Extraction de la donnée d’une base de données SQL vers l’infrastructure Hadoop
    via Sqoop.
    • Nettoyage, analyse et exploration des données afin de construire un modèle
    optimal
    • Réalisation d’études statistiques unidimensionnelles et bidimensionnelles afin de
    définir la distribution des datasets
    • Benchmarking et évaluation des performances de 3 modèles de régression
    (arbre de décision, foret aléatoire, XGBoost)
    • Définition des différentes classes de tenant FCC « Clustering ».
    • Prédiction du nombre d’appel par service (Régression) afin d’anticiper une
    éventuelle saturation et afin de garantir une expérience client optimale
    • Développement des différents dashboards sous PowerBI Afin de mettre en valeur
    les résultats obtenus.

    Environnement technique : VMware (Cloudera), Spark, Pyspark ,HDFS, SQLserver, Sqoop, PowerBI, Clustering (Kmeans), Régression (arbre de décision, foret aléatoire, XGBoost)
Études et formations
  • Diplôme d'ingénieur en Big Data –

    ESC (membre institut mine Télécoms)
    2018
  • Diplôme d’étude universitaire du premier cycle

    39/1500 (Diplôme des classes préparatoires).
    2015
Autres compétences
Expertise technique
● Big DATA: Hadoop, Spark (Scala & Python), Spark Structured Streaming, Spark
Streaming, Kafka, Nifi, HDFS, Event Hub, Databricks, Hive, Cosmos, Datalake
Storage Gen2, HUE.
● Langages de Programmation : Scala, Python.
● Outils de développement : Intellij(SBT,Maven),Spyder, Jupyter…
● Méthodologies : Méthodes Agiles, Scrum,Jira.
● Base de données : Hbase, SQL,Oracle, Datalake Storage Gen2, Cosmos.

D'autres freelances
Data Analyst APACHE SPARK

Ces profils pourraient vous intéresser !
CV Data Engineer GCP
Hicham

Data Engineer GCP

  • ROSNY-SOUS-BOIS
BIGQUERY SQL Google Cloud Platform DATA APACHE SPARK PYTHON
Bientôt disponible
CV Développeur APACHE SPARK
Andrianarivo

Développeur APACHE SPARK

  • BUSSY-SAINT-GEORGES
PYTHON APACHE SPARK SQL LINUX DESIGN PATTERNS AZURE Azure Data Factory SCALA JAVA JAVASCRIPT
CV Data Analyst
Yasser

Data Analyst

  • ANGLET
SQL PYTHON Microsoft Power BI DATA EXCEL SQL SERVER PYSPARK APACHE SPARK BI Cloud AWS
Disponible
CV Consultant Big Data | Data Engineer
Dabah Cyrille Jethro

Consultant Big Data | Data Engineer

  • PARIS
PYTHON BASH APACHE SPARK Azure Synapse Kubernetes ELASTICSEARCH DOCKER APACHE HADOOP Kafka APACHE HIVE
Disponible
CV Data Engineer
Salam

Data Engineer

  • MARSEILLE
SQL DATA PYTHON AZURE BIG DATA APACHE SPARK APACHE HADOOP Google Cloud Platform BI JAVA
Disponible
CV Data Scientist
Khalid

Data Scientist

  • TOULOUSE
PYTHON DATA SQL BIG DATA DATAVIZ BI APACHE HADOOP Cloud AWS Microsoft Power BI APACHE SPARK
Disponible
CV Data Scientist
Louis

Data Scientist

  • PARIS
DATA SQL PYTHON TABLEAU SOFTWARE Data science DATAWAREHOUSE APACHE SPARK Google Cloud Platform
CV Data Scientist PYTHON
Donatien

Data Scientist PYTHON

  • GIF-SUR-YVETTE
PYTHON DATA SQL APACHE SPARK Microsoft Power BI BIG DATA Cloud AWS
CV Data Engineer / Développeur Python
Marouane

Data Engineer / Développeur Python

  • PARIS
PYTHON PYSPARK APACHE SPARK Kafka APACHE KAFKA TALEND DI BIG DATA
CV Data Engineer APACHE SPARK
Kayetan

Data Engineer APACHE SPARK

  • CHOISY-LE-ROI
APACHE SPARK SCALA SQL MAVEN PYTHON Cloud AWS DEVOPS DOCKER Github APACHE HIVE