Freelance APACHE SPARK : Distinguez les savoir-faire dont vous avez besoin

Résumé d'expériences de Hamza,
freelance APACHE SPARK résidant dans la Haute-Garonne (31)

• Société Projet CLS TOULOUSE
  Jan 2020 - Jan 2020

  Mettre en place un environnement d’analyse opérationnel des logs ELK
  Rôle Ingénieur Big data
  Activités réalisées  ingestion les mesures de performances et de disponibilités de l’instance
  établies dans le contrat avec le client (KPI) en exploitant les logs de
  l’application avec logstash
   Intégrer ces mesures dans un rapport mensuel exploitable et automatisé
  avec KIBANA

  Environnement LINUX, CloudS(infrastructure OpenStack), Docker, elasticsearch, logstsash, Kibana

• Rôle Ingénieur Big data

  Société Databiz filière d’Autobiz France Projet Autobiz, Crawler et analyser les sites SELOGER, IMMO, VO
  Jan 2019 - Jan 2020

  Activités réalisées
   Crawler les sites des annonces dans des fichier JSON
   Nettoyage et transformation des données et extraire les statistiques avec
  Apache Spark puis envoyer les statistiques aux analystes
   Stocker et interroger les données dans MongoDB
   Stocker les données textuelles des annonces dans Elasticsearch et faire la
  visualisation avec Kibana
   Créer un outil qui permet de chercher un mot dans tous les pages et les
  sous pages d’un site avec scrapy et Django

  Environnement LINUX, SCRAPY, SELENIUM, APACHE SPARK, PYTHON, ELK, MONGODB, GITLAB, REDMINE, DJANGO, script shell, Docker

• Rôle Ingénieure Big Data

  Société SDI
  Jan 2018 - Jan 2019

  Activités réalisées  Crawler les pages Facebook (poste, comment, nombre de j’aime et de
  partage), les jobs sur LinkedIn, les produits sur AliExpress, Amazon, les
  bibliographies des artistes (NRJ, FNAC)

  Environnement LINUX, API graphe, SCRAPY, SELENIUM, APACHE SPARK, R, PYTHON, ELK, MONGODB, GITLAB, REDMINE, DJANGO

• Rôle Ingènieure Big Data

  Société TADA
  Jan 2017 - Jan 2018

  Projet PLATEFORME DE RECOMMANDATION COMMERCIAL
  Activités réalisées  Développement d’un package de classification hiérarchique avec les algorithmes génétiques
   Développement d'une application web back office pour l'analyse et la prédiction des comportements clients et la génération des rapports d’analyse

  Environnement RSTUDIO, RMARKDOWN, APACHE SPARK ET APACHE CASSANDRA

• Projet TADA, CREER UN GENERATEUR DE PAYSAGE 3D

  aujourd'hui

  Activités réalisées  Implémenter des algorithmes de génération de paysage 3D exploitant les algorithmes génétiques.

  Environnement RSTUDIO, R, APACHE SPARK

• Projet TADA, DETECTION DES OBJETS

  aujourd'hui

  Activités réalisées  Développer un module de détection des visages et des objets.
   Développer un module de reconnaissance des visages.
   Développer un module d’analyse des mouvements et suivi des objets

  Environnement PYTHON, OPENCV, APPRENTISSAGE APPROFONDI, MONGODB Projet BIN PACKING 3D Activités réalisées  Résolution du problème complexe de Bin packing 3D  Modélisation d’une soution avec WPF. Environnement Visual Studio, C#, WPF

• Projet PICKUP AND DELIVERY TEMPS REEL
  aujourd'hui

  Activités réalisées  Résolution du problème complexe de réception de plusieurs demandes de
  livraison. Le service développé permet au transporteur d’organiser ces
  clients et de répondre aux nouvelles demandes en acceptant ou refusant tout en prenant en considération le facteur date limite de livraison et la date approximatif nécessaire pour la livraison calculer par le service tout en
  prenant en considération les livraisons déjà acceptés.

  Environnement RSHINY, R, RESTFUL API, PLUMBER LIBRARY, MAP API GGMAP LIBRARY