Kafka & Flink Architekt (m/w/d) – Kurzprojekt / Workshop (hohes Folgepotenzial)

Projektkontext

Für einen Kunden in einer regulierten Industrieumgebung suchen wir einen erfahrenen Streaming-Architekten mit Fokus auf Apache Kafka & Apache Flink.

Ziel ist der Aufbau bzw. die Evaluierung einer event-getriebenen Datenarchitektur, inkl.:

• Architekturvergleich mehrerer Lösungsansätze (Kafka / Flink / CDC)
• Durchführung eines mehrtägigen Hands-on Workshops (Hackathon-Charakter)
• Ableitung einer fundierten Architektur-Empfehlung
• Bewertung möglicher SaaS-/AWS-Setups
• Perspektive auf Folgeprojekt (Produktivumsetzung)

Must-have Skills

Apache Kafka (mehrjährige Praxiserfahrung in Produktion)

• Topic Design, Partitionierung, Retention
• Replication & Performance-Tuning

Apache Flink (inkl. Flink SQL)

• CTAS / Materialized Views
• Streaming-Jobs im produktiven Kontext

Flink State Management

• RocksDB Backend
• Checkpointing / Savepoints
• Watermarks, Idle State Retention, TTL

CDC & Datenintegration

• Debezium
• Anbindung an Oracle & PostgreSQL

Schema Management

• Confluent Schema Registry / Apicurio
• Schema Evolution

Kafka-Plattformen

• Confluent Platform und/oder Strimzi auf Kubernetes

Performance & Skalierung

• Komplexe Joins (zweistellige Tabellenanzahl)
• State- und Query-Optimierung

Beratungskompetenz

• Workshop-Erfahrung (Hands-on Formate)
• Souveränes Auftreten beim Kunden

Nice-to-have

• AWS (MSK, Managed Flink / Kinesis Data Analytics, EKS)
• Lakehouse-Technologien (Iceberg, Delta Lake, Paimon)
• Trino / Presto
• Multi-Tenant Streaming-Architekturen
• Erfahrung in regulierten Branchen (z. B. GxP)
• Cloud-Kostenmodellierung

Soft Skills

• Sparringspartner auf Augenhöhe (kein reiner Umsetzer)
• Erfahrung in Architekturentscheidungen & Build-vs-Buy
• Strukturierte Kommunikation (Tech & Management)
• Konfliktstabilität bei technischen Entscheidungen

Besonderheit

• Sehr spannendes Hands-on-Setup mit direktem Impact
• Hohe Visibilität beim Endkunden
• Konkretes Folgepotenzial in Richtung Implementierung / Langprojekt