Data Engineer (m/w/d) Fokus: Microservices | MLOps | IAM - Remote & HH - ANÜ

Leistungsbeschreibung

Aufgaben:

Verantwortung für den Betrieb, die Weiterentwicklung und die technische Stabilität eines KI Produkts, das mittels Machine Learning Ausfallwahrscheinlichkeiten von Mittelspannungskabeln prognostiziert. Die Rolle kombiniert Data Science, Data Engineering, MLOps und Cloud Betrieb (Databricks + Azure) und deckt damit die verschiedenen Bereiche ab, die für den Betrieb eines produktiven KI-Systems notwendig sind: Datenbeschaffung, Datenverarbeitung, Training, Deployment, Monitoring, Cloud Betrieb.

1. Betrieb & Weiterentwicklung des Produkts

• Sicherstellen eines stabilen, zuverlässigen Betriebs der ML Pipelines in Databricks
• Überwachung, Debugging und Optimierung von Jobs, Clustern und Workflows
• Weiterentwicklung der ML Modelle (Feature Engineering, Retraining, Evaluation)
• Versionierung und Deployment von Modellen über GitLab CI/CD

2. Data Engineering

• Aufbau und Pflege von Datenpipelines (ETL/ELT) in Spark
• Verarbeitung von SAP und GIS Daten
• REST API
• Modellierung und Verwaltung von Delta Tables im Unity Catalog, Nutzung von Azure Blob Storage
• Schreiben von Ergebnissen in externe SQL Datenbanken

3. MLOps & CI/CD

• Pflege und Anpassung der GitLab Pipelines für Deployment und Tests
• Monitoring von Modellqualität und Datenqualität
• Umgang mit Service Principals, Managed Identities und Secrets (Key Vault)

Anforderungen

Kompetenzen:

• Python (sehr gut)
• PySpark / Spark SQL (sehr gut)
• Erfahrung mit Databricks (Workflows, Cluster, Repos, UC, Delta Lake)
• GitLab CI/CD (Pipelines, Runner, Deployment Strategien)
• REST APIs (Requests, Auth, OpenAPI Spezifikationen)
• SQL (für Analyse + Schreiben in externe Datenbanken)