Sawssen - Data engineer Azure

Ref : 220913Y001
Email vérifié
Photo de Sawssen, Data engineer Azure
Compétences
SCALA
AZURE
BIG DATA
SQL
TALEND
DATA
PYTHON
DEVOPS
Cloudera
APACHE HIVE
Expériences professionnelles

  • Fonction Azure Data Engineer

    AXA Direct Assurance
    Jan 2021 - aujourd'hui

    Projet(s)

    L’objectif de ce projet est de migrer d'un data lake on-premise vers le cloud Azure, et reconstruire un datawarehouse: data ingestion, data transformation et business views.
    Mission(s) et réalisations
    Migration d'un environnement BI(sql server, oracle,...)vers le cloud,
    Création des pipelines avec azure data factory pour alimenter les delta tables,
    Debugging avec azure databricks,
    Développer la correspondance des requêtes SQL en code spark scala,
    Migration des vues,
    Développer des tests unitaires avec scala test,
    Participer dans la partie CI/CD en utilisant azure Devops.

    Environnement Spark Scala,Azure Data Factory,Azure Blob Storage,Azure DevOps, Release, Pipeline, Artifact, Board, Repos,Azure Databricks , Databricks Delta

  • Fonction Ingénieur Big Data

    Orange
    Jan 2020 - Jan 2021

    Projet(s)
    Projet de migration de la plateforme d’un environnement BI (Oracle Talend) vers environnement Big Data (Hadoop Cloudera).
    Mission(s) et réalisations
    Recueil et analyse du besoin du client,
    Etude et conception des solutions techniques,
    Participation à la conception de l’architecture de l’application,
    Développement des différents modules du projet,
    Migration des tables Oracle (bscs) (partie ADSL) vers Hadoop Cloudera,
    Migration des jobs d’agrégation dans Hive,
    Chargement des données depuis différentes sources en réalisant des traitements dans Hive,
    Migration des jobs Talend de transfert des fichiers avec des jobs NIFI,
    Création des vues au niveau de Hive et Impala,
    Optimisation des requêtes SQL, Hive, Impala et Spark-Shell en vérifiant la compatibilité,
    Développement de workflows Oozie et établissement de la fréquence d’exécution,
    Accompagnement du client sur la phase recette (tests).

    Environnement Cloudera 6.2.0, Spark 2.4.0, Scala 2.11.8, Python 2.7.0, Nifi 1.9.0, Hive 2.11.8, Impala 3.2.0, Oozie 5.1.0, Hadoop. Méthodologie : Agile Scrum.

  • Fonction Ingénieur Big Data

    KEYRUS
    Jan 2018 - Jan 2020

    Projet(s)
    Participation à la mise en place d’un Datalake dans une plateforme Hortonworks.
    Mission(s) et réalisations
    Recueil et analyse du besoin métier,
    Participation à la conception de l’architecture de l’application,
    Rédaction du cahier des charges,
    Rédaction des contrats d’interface,
    Développement de la solution,
    Collecte et centralisation des données brutes depuis différentes sources de données : Oracle, Teradata et Hive,
    Calcul et consolidation des KPIs demandés dans des Datamarts par secteurs d’activité (DOB, DIE),
    Développement des jobs de collecte et intégration des sources dans le Datalake à travers Sqoop, Spark, Hive et HDFS,
    Développement des jobs d’agrégation et calcul d’indicateurs pour l’alimentation des datamarts via Spark, Hive et HDFS,
    Planification et automatisation des workflows avec l’outil Oozie,
    Monitoring des ressources du cluster avec Ambari,
    Contribution à la réalisation de la documentation : spécifications fonctionnelles détaillées, dossier d’architecture, dossier de recette,
    Accompagnement du client durant la phase de recette (tests),
    Analyse et traitement des retours client à propos du projet (change requests),
    Création d’un Middleware (webservices) entre Talentsoft et Textkernel pour gérer le transfert de données entre les deux sociétés,
    Publication et déploiement des jobs Talend ESB sur Talend cloud,
    Configuration du runtime et du moteur à distance sur Talend Cloud,
    Réalisation des tests unitaires et d’intégration avec JUnit5,
    Revue de code avec SonarQube.

    Environnement Oozie, Hbase, Hive, Hadoop, Ambari, Apache Phoenix, Sqoop, Spark, Java 8, Python, Springboot, Hortonworks, Teradata, Postgres, Scala, Talend ESB, Talend Cloud, Azure, SonarQube, JUnit5. Méthodologie: Agile Scrum.

  • Fonction Data Engineer

    P3 GROUP Toulouse
    Jan 2017 - Jan 2017

    Projet(s)

    L’objectif de ce projet est d’analyser les retours et feedback des clients sur les réseaux sociaux, plus spécifiquement twitter dans le but d’améliorer l’image et la notoriété de la compagnie Airbus auprès de ses clients.
    Mission(s) et réalisations
    Recueil et analyse du besoin du client,
    Participation à la conception de l’architecture de l’application et choix des technologies,
    Rédaction d’un cahier de charge technique,
    Développement de la solution avec Kafka et Python,
    Exploration des données et scrapping (extraction de données) avec l’outil BeautifulSoup,
    Collecte des données en streaming (en temps réel) avec API Twitter,
    Gestion et filtrage des flux des données avec Kafka,
    Analyse des données collectées en temps réel avec Spark streaming en utilisant des algorithmes de machine learning via la bibliothèque Keras et Spacy,
    Sauvegarder ces données dans Elasticsearch,
    Visualisation des données sauvegardées avec Kibana.

    Environnement Spark streaming, Kafka, Python, Elasticsearch, Kibana, RNN, Logistic Regression, Keras, Spacy, BeautifulSoup.
Études et formations

  • Formation Initiale

    Certifications
    2017 : Diplôme d’ingénieur en Informatique - Ecole nationale des Sciences de l’informatique.


    2021 : Certification Azure Data Fundamentals DP 900.
    2021 : Certification Azure Fundamentals AZ-900.
    2021 : Certification Dataiku Core Designer et Advanced Designer.

    Compétences Techniques

    Programmation : Java, Scala, Spark, Python.
    Frameworks: Spring boot, AngularJS, Flask, Exalead.
    Bases de données : ElasticSearch, Oracle Database, Neo4j, MySQL, Mongodb, Hive, Impala.
    Outils de développement : Pycharm, Eclipse, Visual Studio Code, Git, Jupyter, Kibana, Talend Esb studio.
    Systèmes d’exploitation : Windows 10, Windows 7, Ubuntu.
    Big Data : Cloudera, Hortonworks, Hadoop.
    Méthodologie : Agile Scrum.
    Autres : Architecture Big Data, BI, Apprentissage machine, Cloud Computing.


    Langue
    Anglais : Courant.

Autres compétences

Formation Initiale

Certifications
2017 : Diplôme d’ingénieur en Informatique - Ecole nationale des Sciences de l’informatique.


2021 : Certification Azure Data Fundamentals DP 900.
2021 : Certification Azure Fundamentals AZ-900.
2021 : Certification Dataiku Core Designer et Advanced Designer.

Compétences Techniques

Programmation : Java, Scala, Spark, Python.
Frameworks: Spring boot, AngularJS, Flask, Exalead.
Bases de données : ElasticSearch, Oracle Database, Neo4j, MySQL, Mongodb, Hive, Impala.
Outils de développement : Pycharm, Eclipse, Visual Studio Code, Git, Jupyter, Kibana, Talend Esb studio.
Systèmes d’exploitation : Windows 10, Windows 7, Ubuntu.
Big Data : Cloudera, Hortonworks, Hadoop.
Méthodologie : Agile Scrum.
Autres : Architecture Big Data, BI, Apprentissage machine, Cloud Computing.


Langue
Anglais : Courant.

D'autres freelances
Ingénieur de développement BIG DATA

Ces profils pourraient vous intéresser !
CV Développeur Salesforce \ Talend
Massinissa

Développeur Salesforce \ Talend

  • NOISY-LE-GRAND
TALEND TALEND DI JAVA SALESFORCE TALEND MDM ORACLE SQL SERVER BIG DATA
Disponible
CV Software engineer (fullstack)
Fabien

Software engineer (fullstack)

  • QUIMPER
JAVASCRIPT JAVA PHP BIG DATA SELENIUM PYTHON Python (Pandas, NumPy)
Disponible
CV Développeur Web / Big Data
Corbin

Développeur Web / Big Data

  • NICE
Angular JAVASCRIPT BIG DATA PYTHON Spring Boot APACHE HADOOP
CV Développeur TALEND
Dij

Développeur TALEND

  • PARIS
TALEND Qlik BIG DATA SQL Microsoft Power BI ORACLE TABLEAU SOFTWARE Snowflake
CV Data scientist / NLP Researcher
Monsia

Data scientist / NLP Researcher

  • PARIS
PYTHON APACHE SPARK AZURE SQL DATA BI JAVA BIG DATA Microsoft Power BI SCALA
CV Développeur web et application mobile
Atef

Développeur web et application mobile

  • NICE
SQL REACT.JS ANGULARJS NODE.JS C# BIG DATA
CV DevOps, FullStack, Data, Cloud, Staff Engineer
Salathiel Genese

DevOps, FullStack, Data, Cloud, Staff Engineer

  • ORSAY
JAVASCRIPT JAVA Angular REACT.JS Vue.js Microservices Cloud AWS Google Cloud Platform BIG DATA Rust
CV Data Analyst
Yacine

Data Analyst

  • ARGENTAN
EXCEL SQL PYTHON Microsoft Power BI BIG DATA BUSINESS OBJECTS
CV Architecte d'entreprise Cloud et Data
Mhamed

Architecte d'entreprise Cloud et Data

  • PARIS
HUB DATA BIG DATA AZURE SAAS Data lake Cloudera Dataiku Azure Data Factory Azure Synapse
CV Data Scientist
Bougares

Data Scientist

  • PAU
SQL EXCEL PYTHON DATA Microsoft Power BI Google Cloud Platform BIG DATA JAVA Data science Cloud AWS