ingénieur informatique Big Data (IT)

Nous recherchons pour l'un de nos clients, un(e) Data Engineer afin de concevoir, construire, tester et maintenir les chaines de traitement de données. A ce titre, vos principales missions seront les suivantes :

• Participer à la définition des solutions.
• Déployer, intégrer et administrer les chaines de traitement de données sous Linux.
• Automatiser la livraison, la supervision et l'accès aux datasets sur notre infrastructure privée.
• Réaliser la Documentation et contribuer à la rédaction du modèle de responsabilité partagée pour chaque technologie (« shared responsibility model »).
• Apporter son expertise technique pour la résolution des incidents N2 et N3.
• Automatiser et documenter l'exploitation des chaines de traitement de données.
• Proposer les évolutions techniques des pipelines.
• Garantir au quotidien la livraison, la disponibilité et l'intégrité des données.
• Réaliser la planification
• Faire des Astreintes sur le périmètre de l'équipe (Big data, Kubernetes et bases de données)

• Diplôme Bac +4 ou Bac +5 minimum en science des données, intelligence artificielle, mathématiques appliquées ou discipline équivalente.
• Expériences et expertises opérationnelles recherchées :
• Run et build de pipelines de données de production
• Gestion des incidents de production (plateforme, sécurité, retard de livraison de données, corruption de données, etc.)

• Capacité à apprendre
• Appétence pour les aspects fonctionnels et métiers de Monaco Telecom
• Capacité d'écoute et d'analyse du besoin des clients et des utilisateurs
• Sens de la priorité clients et des utilisateurs
• Autonomie
• Esprit d'analyse et sens de l'initiative
• Force de proposition
• Esprit d'équipe
• Niveau d'anglais technique
• Savoir prioriser son travail dans un environnement sous pression
• Toute expérience sur un poste similaire est un gros plus

• CI/CD/CD (Gitlab)
• Pyspark / spark

- SQL

• Linux
• Bases de données (RDBMS & NoSQL)
• Kafka
• Hive/Impala/PrestoDB/Trino/Nessie(gestion des données)
• Spark (développement, optimisation et opérations)
• Principes architecture big data & Hadoop
• Réseaux (savoir débugger des flux)

• Kubernetes, pour le déploiement d'application Spark sur K8S
• Trino
• Infrastructure as code (Ansible, Terraform est un plus)
• Apache Icerberg ou autre framework de delta tables
• Hive Metastore
• S3
• MariaDB (Galera cluster) et PostGreSQL
• MongoDB

- OLLAMA

- MIG K0S