Data Engineer (m/w/d)

Start: 01.07.2026

Ende: 31.12.2026

Einsatzort: 108 Tage davon 6 Tage Vor Ort in Frankfurt

Sprache: Deutsch (fließend/C2)

Entwicklung von Datenpipelines zur Datenaufnahme und -verarbeitung
Aufbau von Datenbanken und Data Warehouses
Entwicklung von Datenmodellen für die Speicherung von Daten
Integration von Daten aus verschiedenen Quellen
Implementierung von Data Governance- und Sicherheitsrichtlinien
Optimierung von Datenbanken und Datenverarbeitungsprozessen
Erstellung von Datenvisualisierungen und -berichten
Automatisierung von Datenprozessen
Entwicklung von Lösungen zur Skalierung von Dateninfrastrukturen
Erstellung von APIs und Integration von Daten in Anwendungen
Entwicklung der Ingest-Pipeline: S3-Transfer Prüfung Provisioning
Implementierung automatisierter Datenqualitätsprüfungen (Schema-Validierung, Integritätsprüfung)
Integration der Malware-Scanning-Lösung in die Pipeline
Aufbau der Provisioning-Zone (geprüfte Daten für Konsumenten bereitstellen)
Feedback-Mechanismus an Datenlieferanten (Erfolg/Fehler)

Fundierte Erfahrung im Aufbau von Datenpipelines auf AWS mit den Services S3, Step Functions, Lambda/Fargate, AWS Batch; - Erfahrungslevel in Jahren ab 5 Jahre
Fundierte Erfahrung mit AWS Glue - Erfahrungslevel in Jahren ab 3 Jahre
Fundierte Erfahrung mit Datenformaten und Schema-Validierung: Parquet, CSV, JSON, YAML- Erfahrungslevel in Jahren ab 3 Jahre
Fundierte Erfahrungen in der Implementierung mit Python - Erfahrungslevel in Jahren ab 5 Jahre
Projekterfahrung in der Datenintegration aus heterogenen Quellen - Anzahl Referenzen 2

AWS-Zertifizierung Zertifikate AWS Certified Data Engineer oder Data Analytics Specialty
Batch-Verarbeitung großer Datenmengen ( 500 GB pro Lieferung) - Anzahl Referenzen 2
Fundierte Erfahrung in der Event-Driven-Datenverarbeitung: EventBridge, Step Functions - Erfahrungslevel in Jahren ab 3 Jahre
Fundierte Erfahrung in der Umsetzung von Infrastructure as Code mit AWS CDK; - Erfahrungslevel in Jahren ab 1 Jahr

Ähnliche Jobs