Contacter

Data engineer AWS

Ref : 220204S003
Logo client
Compétences requises
Description de la mission

Nous recherchons un Data engineer AWS. Avec les expertises  Cloud de préférence AWS ; Azure & CGP acceptés / maitrise DEVOPS /Très bonne connaissance du Langage SQL/Machine learning.


Compétences métiers

- Une expérience significative dans le développement en environnement Cloud, de préférence AWS ; Azure & CGP acceptés dans la mesure où l'approche data analytics dans le cloud est maitrisée ;
- Bonnes pratiques DevOps ;
- Manipulation des technologies (connaissances et pas maitrise) et des ressources as-a-service via (*-as-code) ;
- Utilisation collaborative d’un même code source ;
- Manipulation des outils DevOps (Git, Jenkins, Gitlab-CI, Docker, Kubernetes, Ansible, Terraform, Helm…) ;
- Très bonne connaissance du Langage SQL ;
- Connaissance sur les environnements et les problématiques DATA (chaines DataOps, qualité de données, ETL, etc.) :
- Bonne connaissances autour de l'orchestration et scheduling de tâches (Control/M, Apache Airflow, Ooozie, Kubeflow, EMR) ;
- Bonne connaissance des problématiques API (OpenAPI swagger, Jason web token, API management ;
- Maitrise des processus et des outils d'ingestion, transformation et chargement de données (AWS Glue, AWS Lambda, EMR…) ;
- Maitrise des outils data streaming (AWS Kinesis, Kafka…) ;
- Maitrise des bases analytiques et bases NoSQL (Redshift, ElasticSearch, AWS Athena, AWS RDS) ;
- Maitrise du Stockage objet (AWS S3) ;
- Bonne connaissance de la gestion des droits et habilitation sur des supports de données variés (SGBDR, AWS IAM, AWS KMS, Apache Ranger, Sentry) ;
- Gouvernance de la donnée (datalineage, cataloging, Apache Atlas…)
- Machine learning (Spark, services ML AWS, ElasticSearch)

Certifications requires : * au moins une
AWS Solution Architect ;
AWS Database ;
AWS Developer ;
AWS Data Analytics
Méthodologie : Agile SAFe 5.0

Liste des technologies:
Les incontournables technologies nécessaires pour la mission :
- data transfo (AWS Glue, AWS Lambda, EMR…)
- data streaming (AWS Kinesis, Kafka…)
- Bases analytiques et bases NoSQL (Redshift, ElasticSearch, AWS Athena, AWS RDS)
- Langage SQL ;
- Stockage objet (AWS S3) ;
- Bonnes pratiques DevOps ;
- Manipulation des technologies et des ressources as-a-service par programmation (*-as-code)
- Utilisation collaborative d’un même code source

Autres :
Outils DevOps (Git, Jenkins, Gitlab-CI, Docker, Kubernetes, Ansible,
Terraform, Helm…)
Connaissance sur les environnements et les problématiques DATA (chaines
DataOps, qualité de données, ETL, etc.) :
Orchestration et scheduling de tâches (Control/M, Apache Airflow, Ooozie,
Kubeflow, EMR)
API (OpenAPI swagger, Jason web token, API management) ;
Gestion des droits et habilitation sur des supports de données variés
(SGBDR, AWS IAM, AWS KMS, Apache Ranger, Sentry)
Gouvernance de la donnée (datalineage, cataloging, Apache Atlas…)
Machine learning (Spark, services ML AWS, ElasticSearch)

D'autres offres
Data Scientist SQL

Ces missions pourraient vous intéresser !

Data Scientist

SQL DATA PYTHON Data science
ASAP
75 - PARIS
12 mois
Voir la mission

Data Scientist

SQL PYTHON Google Cloud Platform
24/06/2024
91 - MASSY
3 mois
Voir la mission

Data Scientist - DEALING SUPPORT EXÉCUTION en Asset Management

SQL PYTHON PYSPARK
ASAP
75 - PARIS
180 jours ouvrés
Voir la mission

Data analyst

SQL PYTHON R
ASAP
75 - PARIS
12 mois
Voir la mission

Data Engineer , Paris - Oracle BI / Publisher

SQL ORACLE BI ORACLE BI PUBLISHER ORACLE PL SQL CONTROL M
ASAP
paris
3 mois
Voir la mission

Data Scientist

SQL PYTHON
ASAP
PARIS
6 mois
Voir la mission

Lead Data Scientist

SQL PYTHON BIGQUERY
ASAP
Boulogne
12 mois
Voir la mission

Développeur

C++ JAVA SQL UNIX ORACLE
ASAP
Nanterre
1 mois
Voir la mission

Développeur BI / Décisionnel - Assurance IARD

SQL OLAP INFORMATICA SSAS Microsoft Power BI
ASAP
75 - PARIS
2 mois
Voir la mission

Data Engineer

SQL ORACLE PYTHON SSAS AZURE
ASAP
59 - CROIX
6 mois
Voir la mission