Data Engineer / OpenSearch Expert (m/f/d)

Projektschwerpunkte

Sie unterstützen bei der Optimierung und Skalierung einer bestehenden Such- und Datenplattform im Enterprise-Umfeld. Der Fokus liegt auf der Analyse und Verbesserung von Suchqualität, Performance sowie der Skalierung großer OpenSearch-Cluster.

Aufgaben

• Analyse und Optimierung von Semantic Search und Hybrid Search Use Cases
• Verbesserung der Search Relevance, z.B. durch Optimierung von:
• Chunking-Strategien
• Scoring-Mechanismen
• Ranking-Verfahren
• Performance-Tuning und Query-Optimierung:
• Profiling und Analyse langsamer Suchanfragen
• Überarbeitung von Queries zur Reduzierung von Latenzen
• Nutzung von Cache-basierten Filtern statt Scoring-Queries, wo sinnvoll
• OpenSearch Cluster- und Infrastruktur-Optimierung:
• Shard-Sizing und Shard-Management
• Load Balancing zwischen Data Nodes
• Index Lifecycle Management (ILM)
• Beratung bei der Auswahl geeigneter Data-Node-Instanzen basierend auf Last- und Suchmustern
• Unterstützung bei Betrieb und Skalierung großer OpenSearch-Umgebungen

Must-have Skills

• Sehr gute Erfahrung mit OpenSearch
• Erfahrung mit Vector Search, insbesondere:
• Approximate Nearest Neighbours (ANN)
• HNSW (Hierarchical Navigable Small World)
• Filtered Vector Search
• Fundierte Kenntnisse in Semantic Search und Hybrid Search
• Nachweisbare Erfahrung in der Optimierung von Search Relevance
• Tiefgehendes Know-how in Query Performance Tuning
• Erfahrung mit Shard & Cluster Tuning
• Kenntnisse in Index Lifecycle Management (ILM)

Nice-to-have

• Erfahrung mit GenAI-, RAG- oder Knowledge-Search-Plattformen
• Cloud-Erfahrung (AWS, Azure oder GCP)
• Erfahrung mit Embeddings und Vektor-Datenbanken