Senior AI Platform Architect / LLM Infrastructure Consultant (m/w/d)

Senior AI Platform Architect / LLM Infrastructure Consultant (m/w/d)

Wir suchen einen Senior AI Platform Architect / LLM Infrastructure Consultant (m/w/d)

Aufgaben:

• Aufbau einer On-Premise GenAI-Plattform auf vorhandener KI-Hardware
• Auswahl und Betrieb geeigneter Open-Source- und kommerzieller LLMs
• Einführung eines KI-Coding-Assistenten
• Aufbau eines unternehmensweiten KI-Assistenten (RAG, Wissensmanagement, Übersetzung)
• Konzeption von Lastverteilung, Multi-User-Betrieb und GPU-Ressourcenmanagement für 30–200 Anwender
• Beratung zu Datenschutz, Lizenzierung und Modellstrategie

Anforderungen:

• Erfahrung mit LLM-Infrastruktur und MLOps
• Kubernetes, Docker, GPU-Cluster
• vLLM, Ray Serve oder vergleichbare Inference-Plattformen
• Open-Source-LLMs (Llama, Qwen, DeepSeek, Mistral)
• Erfahrung mit Enterprise-RAG-Systemen

Start: zeitnah

Laufzeit noch offen

Einsatzort: Großraum Köln (GL) / remote