Notre base de 151740 CV vous permet de trouver rapidement un Ingénieur Toulouse freelance. Recevez gratuitement et sous 24h maximum les CV des meileurs intervenants disponibles.
Mission: Architecte, Administrateur Hadoop, Data-Lake
L’objectif de la mission est la définition de l’architecture de la nouvelle datalake et ensuite l’implémentation et la gestion de l’infrastructure Big Data HortonWorks et aussi la mise en place une politique de sécurité et une gouvernance de données.
La mission au sein du projet consiste à :
Définition de l’architecture technique
Le choix des composants du DataLake
La mise en place de l’infrastructure du projet
Installation, configuration de : Hortonworks, Talend BigData, Vertica, Attunity
Connecter tous les composants et les faire fonctionner ensemble
Administration Hadoop Hortonworks
Mise en place de la sécurité
Mission : Consultant Big Data
Le client a pour responsabilité, au plan mondial, de l'ensemble des outils informatiques de contrôle des abus de marché, de conformité, et du risque opérationnel. En complément de cette responsabilité directe, il a aussi comme rôle le pilotage des projets exécutés dans les autres entités relatifs.
L’objectif du projet est la mise en place de solutions basées sur la stack Hadoop : Distribution HortonWorks, Stockage en Parquet, dénormalisation en HIVE, indexation SOLR, utilisation de SPARK/Java pour les process distribués, utilisation de Oozie et de Spring également, restitution via
La mission au sein du projet consiste à :
Analyse et conception de la solution big data à mettre place
Chargement des données dans le DataLake
Développement en SPARK/JAVA de nouveaux patterns de détection
Restitution via une interface WEB ou l'outil TABLEAU Software
Développement et calcul des KPI/KRI
Indexation via SOLR
Mission : Data Analyste / Développeur Big Data
L’objectif de ce projet est de faciliter et d’homogénéiser les pratiques de contrôle de la qualité des données (respect des règles de construction) et de suivi de l’effet parc – palier. Il s’agit également de doter les instances locales et nationale de gouvernance des dispositifs nécessaires au pilotage des données paliers et sites.
Mettre en place un entrepôt de données permet de disposer des données provenant de plusieurs sources pour alimenter les objets manipulés ou effectuer des contrôles de cohérence.
La mission au sein du projet consiste à :
Proposer des études d’architectures big data
Création d’un référentiel de données de références sur ELASTICSEARCH
Développement de plusieurs Batchs, Hive, Spark, pour l’intégration de données de plusieurs applications dans la plateforme Hadoop
Mettre en place une API pour exposer les données Elasticsearch à une application web Spring
Développement de plusieurs Batch Spark en scala pour alimenter les indexes sur Elasticsearch
Mission : Exploration des données et analyse des sentiments (Avis des clients Amazon)
Développement de plusieurs algorithmes sur Apache Spark en utilisant le langage fonctionnel Scala
et Python
Implémention des algorithmes en utilisant le langage R avec RStudio
Chargement des données en utilisant Pig/Hive /Impala sur une distribution Hadoop Cloudera
Développement d’un programme MapReduce en Java pour faire des statistiques sur la base de
données
Construction de l'ensemble des caractéristiques pour conduire la classification, en utilisant les
méthodes de text mining
Proposition et utilisation d’un ensemble de méthodes d'apprentissage supervisé (arbres de
décision, random forests, svm, bayesien naïf) pour construire un modèle d'analyse de sentiment.
Proposition d’un ensemble de mesures pour comparer les performances de ces méthodes (accuracy, precision, recall, f-mesure, ROC, AUC).
Les calculs ont été effectués sur un cluster composé de 10 serveurs, dont la capacité de mémoire
vive atteint 40 GO de RAM par serveur et la capacité de stockage secondaire totale du cluster atteint 10 TO.
Projet : Projets entrepôt de données EDF (HADOOP)
Fonction : Ingénieur d’études expérimenté
Mission : Consultant / Développeur Big Data
Dans le cadre des missions du département « entrepôts de données EDF », le département est amené à mener de nombreuses études d’architecture puis à mettre en œuvre ces études d’architecture dans le cadre de projets opérationnels.
Par exemple : Mise en place de Kafka / Spark dans le cadre d’une brique d’acquisition au fil de l’eau, mise en œuvre de ELK pour l’acquisition de log et de briques de reporting.
La mission au sein du projet consiste à :
Réaliser les études d’architectures big data en appui à l’architecte référent du département.
Réaliser de façon ponctuelle des développements pour mettre en oeuvre ces architectures.
Projets réalisés :
Accostage d’un nouveau CRM(MA) à la plateforme Big Data, Vue client 360° : temps réel avec Kafka et Spark Streaming, stockage et indexation dans HBase et ElasticSearch, tracking client avec Comscore et WebAnalytics
Création d’un référentiel pour les clients éligibles à la facture électronique (AIFE Chorus) : Spark batch, Apache Nifi, HBase, Java, XML
Développement de plusieurs batchs, Hive, Spark, pour l’intégration de données de plusieurs applications dans la plateforme Hadoop (Linky, GazPar, Comscore …)
Projet : Portail SOA
Fonction : Ingénieur d’études expérimenté
Mission : Lead technique et Architecte SOA
Participation à la mise en place de l’architecture technique du projet en collaboration avec les
équipes Basis, Architecture et Interfaces
Participation à la rédaction et la mise à jour du document de l’architecture technique (DAT)
La configuration du WebDispatcher (Load-balancing), pour améliorer les performances
L’installation des environnements (dev, test, preprod, prod), Unix, Oracle, RAC, SAP…
Administration des serveurs d’application WAS
Administration de l’environnement de développement
Rédaction des SFD et STD et TUF, TU
Expert/formateur (2 développeurs) sur les technologies Java /J2EE
Pilotage de plusieurs développeurs onshore et offshore dans un contexte SOA 4 couches
Définition des best practices projet
Conception objet et développement des micro-services en Java
Contexte :
L’infrastructure du projet s’appuie sur les principes structurants de la Haute Disponibilité et de la réplication, basée sur la tolérance de panne d’un site principal et d’un plan de reprise d’activité sur un site de secours. Pour ce faire, l’infrastructure mise en œuvre repose sur deux salles pour le site principal et d’une salle dans un site de secours distant.
Projet : SI Producteurs : « Traitement des données de comptage et publication des flux » (Direction Informatique et télécommunications)
Fonction : Ingénieur d’études expérimenté
Mission : Lead technique
Encadrement de l’équipe de développement
Participation à l’optimisation de l’architecture technique de l’application
Analyse, conception objet, et définition des spécifications techniques en UML
Développement java
Contexte :
Le projet repose sur une architecture à 3 niveaux, de type application web/client léger basée sur l’utilisation de :
Apache (serveur Web)
Weblogi...
Projet : Projet de la région Rhône-Alpes pour améliorer la qualité de l’aire
Mission : Développement d’un outil de prévision des pics d’ozone.
Application d’une méthode de clustering basée sur la logique floue et datamining pour la prévision de pics d'ozone Application d’une méthode de clustering basée sur la logique floue et datamining pour la prévision de pics d'ozone [Chiu 1999]
Test du programme sur un échantillon de données (météo St Etienne 2001)
Le résultat a montré que la prévision a été proche de la réalité à plus de 95%