Fiche métier : Data Engineer
Le Data Engineer ou ingénieur des données est responsable de la mise en forme, l’assemblage, le nettoyage et la transformation de données massives (Big Data), pouvant provenir de sources multiples, en données utilisables.
MISSIONS
Pour répondre à des enjeux spécifiques tels que les problématiques de masse de données et de rapidité et de volumes, le data engineer a pour mission de transformer des données structurées et non structurées en informations accessibles et prêtes à l’usage via des architectures Big Data.
Pour cela, il doit préparer, intégrer, consolider, nettoyer et transformer des données dans un format exploitable notamment par les équipes métiers (analystes risques, analystes quantitatifs, traders …)
ÉVOLUTIONS
- Management d’équipe de Data Engineers
- Architecte technique ou fonctionnel
- Business Analyst
- Chef de Projet
- Data Scientist
EXPÉRIENCES REQUISES
Première expérience significative en programmation Big Data, idéalement acquise dans le domaine de la finance.
FORMATION
Ecole d’ingénieur ou Bac+5 universitaire en Informatique ou en Big Data
RÉMUNÉRATIONS
A partir de 45k€ pour les débutants
COMPÉTENCES REQUISES
Un ingénieur des données doit maîtriser :
- Un ou plusieurs langages de programmation tels que Scala, Java, Python, Shell, VBA
- Un ou plusieurs Framework de calcul massivement parallèle de données : Hadoop, Spark, Kafka
- Des solutions d’analyse basées sur Hadoop, comme Hbase et Hive
- Un système d’exploitation : Unix, Linux, Solaris, Windows
- Le SQL et dérivés : SQL, HiveQL
- Un ou plusieurs systèmes NoSQL : Elasticsearch, HBase, Cassandra, Redshift
- Les outils de gestion et stockage de données et d’ETL (Cassandra, Neo4J, Extract, Transform, Load)
De plus, le data engineer doit :
- Savoir consolider les données, produire des KPI et construire des tableaux de bord à l’aide d’outils tels que Excel Power BI, Tableau Software, ou encore QlikView
- Être à l’aise avec les outils d’intégration et de déploiement continu : Jenkins, git, GitHub, gitlab, création de CI/CD, docker, Ansible, kubernetes …
- Connaître certains outils du DevOps : outils de versioning, outils de virtualisation, APIs, outils de monitoring et d’automatisation… dans l’optique d’une mise en production de projets axés Data
Enfin, comme les entreprises se tournent massivement vers le Cloud Computing, un Data Engineer peut être amené à utiliser les plateformes Cloud comme AWS, Google Cloud, Microsoft Azure et leurs différents services Big Data.
Ainsi, le Data Engineer travaille sur plusieurs technologies innovantes, ce qui nécessite de faire de la veille technologique.