(Senior) Data Integration Engineer (m/w/d)

Aufgaben

Data Integration & APIs

• ERP-, CRM- und Lieferanten-APIs integrieren und Pipelines in Python entwickeln (REST/GraphQL)

• Python-Module für Datenextraktion, -transformation und -laden (ETL/ELT) schreiben und warten

• Datentransformationen mit dbt modellieren, testen und dokumentieren

• PostgreSQL / Firestore / BigQuery - Datenmodellierung und Performance-Optimierung

• GCP Cloud Functions entwickeln und deployen

Event-driven Architecture & Automation

• Event-driven Systeme mit GCP Pub/Sub aufbauen und weiterentwickeln

• Entscheiden, ob ein Use Case Echtzeit- (Pub/Sub, Events) oder Batch-Verarbeitung (dbt, Airflow) braucht – und die Architektur entsprechend aufsetzen

• Workflow-Orchestrierung mit n8n oder Airflow

• Robustes Error Handling, Retry-Logik und Monitoring implementieren

AI & LLM Integration

• LLM-APIs (OpenAI, Anthropic) anbinden und in bestehende Datenpipelines integrieren

• RAG-Workflows aufbauen: Daten aufbereiten, chunken, vektorisieren und in Vector DBs laden

• Outputs absichern: Error Handling, Guardrails und Fallback-Logik für Non-Determinismus

Infrastruktur & AI-assisted Development

• CI/CD mit GitHub Actions / Cloud Build

• Infrastructure as Code mit Terraform

• AI-Tools (Cursor, Claude Code) effektiv nutzen und Best Practices im Team etablieren

• Code-Reviews, Testing, Monitoring und Alerting

Qualifikation

Muss

• 5+ Jahre Erfahrung als Backend-, Data- oder Integration Engineer

• Sehr gute Kenntnisse in Python (Hauptsprache für Pipelines, APIs und Automatisierung)

• Praxiserfahrung mit dbt (Modellierung, Tests, Dokumentation)

• Erfahrung mit Serverless-Architekturen (Cloud Functions, AWS Lambda o. Ä.)

• Solides Verständnis von Event-driven Architecture (Pub/Sub, Message Queues, Events)

• Sicheres Urteilsvermögen bei der Wahl zwischen Batch- und Event-driven Verarbeitung je nach Use Case

• Erfahrung mit SQL und relationalen Datenbanken (PostgreSQL o. Ä.)

• Sicher im Umgang mit REST-APIs, Git und CI/CD-Pipelines

• Pragmatismus: MVP vor Perfektion, Geschwindigkeit vor Over-Engineering

Nice to have

• Erfahrung mit LLM-Integration für Datenextraktion und intelligentes Routing

• Umgang mit Non-Determinismus: Error Handling, Guardrails, Feedback-Loops

• Saubere Datenaufbereitung für ML-Modelle und RAG-Workflows

• GCP-Erfahrung (Cloud Functions, Pub/Sub, BigQuery)

• Praktische Erfahrung mit Workflow-Tools wie n8n, Airflow, Zapier oder make

• Terraform oder andere IaC-Tools

• Firestore / NoSQL

• Vector DBs, Fine-Tuning, CV APIs

• Branchenwissen: Verbindungselemente, B2B-Commerce