Freelance
Ref : 150915C003-
A définir
-
A définir
Description de la mission
Ingénieur système DEVOPS HADOOP
Tâche B1 : Développer l’infrastructure
• définir, rédiger et communiquer les bonnes pratiques de développement pour améliorer l’exploitabilité des applications hadoop
• contribuer à la définition et la mise en œuvre de l’infrastructure d’accueil hadoop
• développer des outils communs (pour les développeurs ou les équipes de production)
o Fournir l’instrumentation pour la supervision
o Fournir l’instrumentation pour le troubleshooting
o Réaliser le graphage
o Déployer les modules adaptés
o Assurer la gestion du multi-utilisateurs
o Gérer le lancement des Jobs (orchestration)
o Assurer le chiffrage des coûts/clients et réaliser le capacity planning
Tâche B2 : Activités liées aux processus / Activités transverses
• accompagner les équipes de développement pour l’intégration des applications en environnement de production
• former les nouveaux utilisateurs de la plateforme hadoop
• participer à la définition et la mise en œuvre des bonnes pratiques d’intégration continue sur ce périmètre
• assurer une veille technologique
Tâche B3 : intégrer des développements (BUILD)
Accompagnement des équipes de développement dans le cycle de vie des applications. Elle nécessite notamment :
• la mise à disposition d’environnements de développement, recette, pré production et production
• le support aux équipes de développement pour l’intégration de leurs applications
• la rédaction des procédures d’intégrations associées
Tâche B4 : conception et mise en œuvre d’infrastructures (BUILD)
L’intégration de nouveaux services métiers ou la mise en œuvre de nouveaux services d’infrastructure peuvent nécessiter la construction de nouvelles infrastructures.
la conception et la mise en œuvre de celles-ci dans le respect des normes en vigueur
Tâche R1 : Assurer le maintien en conditions opérationnelles (RUN)
Le maintien en conditions des plateformes de services intègre notamment :
• la gestion des incidents (niveau 2 et 3)
• la gestion des problèmes
• la contribution à l’amélioration continue de l’exploitabilité et de la qualité de service
• le maintien la documentation
• la réalisation des changements en production programmés
Tâche T1 : réaliser des études techniques (THINK)
L’activité d’hébergement évolue en permanence, la prestation intègre donc une composante étude qui consistera à réaliser ou contribuer à des études techniques inscrites dans la stratégie
Dans le cadre de cette prestation, le Prestataire devra :
• s’assurer de la reproductibilité de l’étude, notamment grâce à la documentation
• communiquer sur les résultats de l’étude
Compétence Connaissances Maîtrise opérationnelle Maîtrise avancée Expertise
Apache X
Mysql X
PHP X
Memcached / redis X
Réseau
Protocole HTTP X
Load-balancing X
Développement
Python X
GIT / SVN X
HTML / javascript / CSS X
technologies Big Data
Ecosystème Hadoop / HDFS/Yarn / Ambari, Oozie, Hue, Hbase X
Java/Hive/PIG X
Elasticsearch, kibana X
Commentaires : des connaissances en plus seraient appréciées sur :
Kerberos
Base de données nosql cassandra (et/ou équivalents)
rabbitMQ (et/ou équivalents)
logstash (et/ou équivalents)
outils d’exploitation d’infrastructure (supervision/sauvegarde/DNS/LDAP/FTP
Tâche B1 : Développer l’infrastructure
• définir, rédiger et communiquer les bonnes pratiques de développement pour améliorer l’exploitabilité des applications hadoop
• contribuer à la définition et la mise en œuvre de l’infrastructure d’accueil hadoop
• développer des outils communs (pour les développeurs ou les équipes de production)
o Fournir l’instrumentation pour la supervision
o Fournir l’instrumentation pour le troubleshooting
o Réaliser le graphage
o Déployer les modules adaptés
o Assurer la gestion du multi-utilisateurs
o Gérer le lancement des Jobs (orchestration)
o Assurer le chiffrage des coûts/clients et réaliser le capacity planning
Tâche B2 : Activités liées aux processus / Activités transverses
• accompagner les équipes de développement pour l’intégration des applications en environnement de production
• former les nouveaux utilisateurs de la plateforme hadoop
• participer à la définition et la mise en œuvre des bonnes pratiques d’intégration continue sur ce périmètre
• assurer une veille technologique
Tâche B3 : intégrer des développements (BUILD)
Accompagnement des équipes de développement dans le cycle de vie des applications. Elle nécessite notamment :
• la mise à disposition d’environnements de développement, recette, pré production et production
• le support aux équipes de développement pour l’intégration de leurs applications
• la rédaction des procédures d’intégrations associées
Tâche B4 : conception et mise en œuvre d’infrastructures (BUILD)
L’intégration de nouveaux services métiers ou la mise en œuvre de nouveaux services d’infrastructure peuvent nécessiter la construction de nouvelles infrastructures.
la conception et la mise en œuvre de celles-ci dans le respect des normes en vigueur
Tâche R1 : Assurer le maintien en conditions opérationnelles (RUN)
Le maintien en conditions des plateformes de services intègre notamment :
• la gestion des incidents (niveau 2 et 3)
• la gestion des problèmes
• la contribution à l’amélioration continue de l’exploitabilité et de la qualité de service
• le maintien la documentation
• la réalisation des changements en production programmés
Tâche T1 : réaliser des études techniques (THINK)
L’activité d’hébergement évolue en permanence, la prestation intègre donc une composante étude qui consistera à réaliser ou contribuer à des études techniques inscrites dans la stratégie
Dans le cadre de cette prestation, le Prestataire devra :
• s’assurer de la reproductibilité de l’étude, notamment grâce à la documentation
• communiquer sur les résultats de l’étude
Compétence Connaissances Maîtrise opérationnelle Maîtrise avancée Expertise
Apache X
Mysql X
PHP X
Memcached / redis X
Réseau
Protocole HTTP X
Load-balancing X
Développement
Python X
GIT / SVN X
HTML / javascript / CSS X
technologies Big Data
Ecosystème Hadoop / HDFS/Yarn / Ambari, Oozie, Hue, Hbase X
Java/Hive/PIG X
Elasticsearch, kibana X
Commentaires : des connaissances en plus seraient appréciées sur :
Kerberos
Base de données nosql cassandra (et/ou équivalents)
rabbitMQ (et/ou équivalents)
logstash (et/ou équivalents)
outils d’exploitation d’infrastructure (supervision/sauvegarde/DNS/LDAP/FTP