Entwicklung einer lokalen KI-Infrastruktur für Wissensmanagement

Aufgabenbereich

• Aufbau und Betrieb einer lokalen KI-/LLM-Infrastruktur inklusive Datenschutz
• Integration interner Datenquellen wie SAP und Confluence in KI-Anwendungen
• Implementierung von Inferenz-Frameworks wie vLLM, Ollama, MCP oder LightLLM
• Entwicklung prototypischer Use Cases wie semantische Suche und Dokumentensuche
• Konzeption nachhaltiger, skalierbarer Architektur sowie Plattformbetrieb On-Premise

Anforderungen

• Fundiertes Wissen zu Large Language Models (LLMs) und deren Einsatzmöglichkeiten
• Erfahrung mit vLLM, Ollama, Light LLM, MCP oder vergleichbaren Inferenz-Frameworks
• Sehr gute Python-Kenntnisse sowie Kenntnisse in Docker Containerisierung
• Erfahrung in der Integration von Datenquellen über APIs oder Datenbanken
• Kenntnisse im Bereich Retrieval-Ansätze wie RAG und Microservices-Architekturen

Rahmenbedingungen:

• Start: ab sofort
• Auslastung: 5 bis 10 Stunden/ Woche
• Laufzeit: 3-6 Monate (mit Verlängerungsoption)
• Einsatzort: hoher remote Anteil / vor Ort Raum Ravensburg