KI-Labor: Souveräne KI – datenschutzkonform und anpassbar
- Konstantin Papageorgiou, Simon Egli, Dustin Schiele
- 31. März
- 2 Min. Lesezeit
Mit dem Aufkommen leistungsfähiger KI-Systeme ist es erstmals in breitem Umfang möglich geworden, natürliche Sprache maschinell zu verarbeiten. Die signifikant gestiegene Menge verarbeitbarer Daten führt jedoch zu einer neuen Qualität datenschutzrechtlicher Fragestellungen. Insbesondere gewinnen Fragen der Datensicherheit, der Datenhoheit sowie der institutionellen Verantwortung an Bedeutung.
Darüber hinaus sind mit einer institutionsweiten Einführung kommerzieller KI-Systeme erhebliche Lizenzkosten verbunden. Gleichzeitig bleibt die interne Funktionsweise grosser Anbieter – etwa im Fall von ChatGPT – weitgehend intransparent (Blackbox-Charakter), was sowohl die wissenschaftliche Nachvollziehbarkeit als auch die systematische Beforschung dieser Systeme erschwert.
Vor diesem Hintergrund verfolgt das Institut Digitale und Informatische Bildung (IDIB-PHSG) einen explorativen Ansatz, der auf dem Zusammenspiel eigener Hardware mit Open-Source-Software basiert. Ziel ist die Entwicklung und der Betrieb von KI-Systemen, die institutionell kontrollierbar, datenschutzkonform sowie flexibel an spezifische Anforderungen anpassbar sind.
Voraussetzungen
Geeignete Hardware (Grafikkarte, spezialisierte Karten oder Compute-Nodes wie z.B. Nvidia-Spark-Plattform)
Eckdaten
Zeitrahmen | Längerfristig, mehrere Jahre |
Zielgruppe | Entscheidungsträger:innen, IT-Mitarbeitende, KI-Forschende |
Gruppengrösse | Im Moment kleinere Testgruppen zur Evaluation mit dem Ziel, institutionsweite Lösungen anbieten zu können. |
Mögliche Tools | Ein vor zweieinhalb Jahren angeschaffter Gaming-PC bietet die nötigen Hardwarevoraussetzungen. Das VRAM der Grafikkarte limitiert dabei, wie gross ein LLM sein kann, damit es in den Speicher passt. Aufgrund der einfachen Bedienbarkeit kommt Ollama als LLM-Runtime zum Einsatz. Open Web UI bietet ein Chat-GPT ähnliches Interface, während N8N Möglichkeit zur Workflow-Automation und spezifischeren Gestaltung bietet.
Es gibt viele weitere Open-Source-Plattformen, die noch getestet werden können. Auch die Auswahl an LLMs ist gross. |
KI-Kompetenzrahmen
Dieser Use Case zahlt in die folgenden Dimensionen des St.Galler KI-Kompetenzrahmens ein:
Ablauf
Vor zweieinhalb Jahren hat die Institutsleitung des IDIB-PHSG die Anschaffung spezifischer Hardware zur Unterstützung der Grundlagenentwicklung im Bereich Künstliche Intelligenz genehmigt. Seither wird diese Infrastruktur kontinuierlich genutzt, um prototypische Entwicklungen voranzutreiben sowie institutionsweit beratend tätig zu sein.
Das KI-Labor hat sich auf Grundlage der initial geschaffenen Infrastruktur als tragfähige Plattform für nachhaltige Entwicklungs- und Transferprozesse im Bereich der Künstlichen Intelligenz etabliert. Ein Chatbot wurde bereits realisiert, derzeit arbeiten die Mitarbeitenden des KI-Labors an zwei Schreibassistenten; ein Scratch-Klassenraumassistent ist in Planung.
Vorteile
Hoher Datenschutz, entsprechend vielseitig einsetzbar
Besserer Zugriff auf Daten für Forschung
Integrationsmöglichkeiten in bestehende Systeme
Bessere Anpassbarkeit
Nachteile
Geringere Leistungsfähigkeit der Modelle im Vgl. zu grossen Cloud-Anbietern (kann durch bessere Anpassbarkeit ausgeglichen werden)
Blockaden in der Organisation aufgrund von Unwissenheit und Angst
