KI direkt auf dem eigenen Computer ausführen (mit LM Studio)
- Kevin Bieber & Fabian Graf
- 22. Apr.
- 5 Min. Lesezeit
Die meisten Nutzer:innen sind es gewohnt, KI bei einem der grossen verfügbaren Anbieter:innen zu nutzen (z.B. ChatGPT von OpenAI, Gemini von Google oder Claude von Anthropic). Die dort genutzten Sprachmodelle verfügen über einen grossen Funktionsumfang und werden laufend weiterentwickelt.
Ein Problem ist jedoch, dass die Nutzung der Daten nicht klar ist und mit vertraulichen Daten vorsichtig umgegangen werden muss. Es gibt mittlerweile auch einfache Möglichkeiten, um kleinere KI-Modelle mit weniger Funktionsumfang auf dem eigenen Computer auszuführen. Dies hat beispielsweise die Vorteile, dass keine Internetverbindung notwendig ist, dass der Datenschutz sichergestellt ist und ausser den Stromkosten keine weiteren Kosten entstehen. Gleichzeitig hat es aber auch Nachteile.
Mit diesem Use Case möchten wir aufzeigen, wie man das selbst machen kann und welche Vor- und Nachteile eine solche Lösung mit sich bringt.
Voraussetzungen
Bestehende Anwenderkenntnisse und Möglichkeit zur individuellen Installation von Programmen
Interesse an lokal betriebenen Large Language Modellen (LLMs)
Mindestanforderungen an die Hardware:
Computer oder Laptop, welcher einigermassen modern ist und nicht älter als 5 Jahre ist
Mindestens 8 GB oder mehr Arbeitsspeicher
Mindestens 20 GB oder mehr freier Speicherplatz auf Festplatte oder SSD
Mac oder Windows Betriebssystem
Eckdaten
Fachgebiet | • Künstliche Intelligenz (KI) • Einsatz in verschiedenen Fachgebieten möglich |
Lehrformat | Individuelles Ausprobieren durch Dozierende oder Einzel- oder Gruppenarbeit durch Studierende. |
Zeitrahmen | 45 Minuten für Installation und erste Versuche. Zusätzliche Zeit zum Umsetzen oder ausprobieren von Aufgaben. |
Zielgruppe | Lehrpersonen und Studierende in einem Bachelor- oder Masterstudium |
Gruppengrösse | 15-30 Personen (Studierende) |
Assessment | Kein Assessment als Bestandteil von Use Case. Überprüfung kann individuell erfolgen. |
Mögliche Tools | Der Use Case kann nur mithilfe eines «modernen» Computers oder Laptops (siehe Anforderungen oben) und der Software LM Studio durchgeführt werden. |
Lernziele
Die Lehrpersonen oder Studierenden können LM-Studio lokal installieren und kleine Modelle lokal auf dem Laptop oder Computer ausführen.
Die Lehrpersonen oder Studierenden können abschätzen, welche Modelle für ihren eigenen Laptop oder Computer geeignet sind.
Die Lehrpersonen oder Studierenden können durch eigenes Ausprobieren die Stärken und Schwächen von lokalen Modellen einschätzen.
KI-Kompetenzrahmen
Dieser Use Case zahlt in die folgenden Dimensionen des St.Galler KI-Kompetenzrahmens ein:
Ablauf
Um KI lokal zu nutzen, muss zuerst eine Software installiert werden, welche es auf einfache Art und Weise ermöglicht, KI-Modelle herunterzuladen und diese einzurichten. Es gibt verschiedene Lösungen dafür. Wir haben uns für «LM Studio» https://lmstudio.ai/ entschieden, da es sich sowohl für Anfänger:innen, wie auch fortgeschrittene Nutzer:innen eignet. Eine erwähnenswerte Alternative wäre hier noch Ollama https://ollama.com/
Die Installation von LM-Studio ist im angehängten PDF-Dokument Schritt für Schritt beschrieben. Nun geht es darum, ein passendes Modell für den eigenen Computer oder Laptop zu finden. Dabei ist es immer ein Kompromiss aus Modellgrösse, -funktionalität und Geschwindigkeit. Je grösser ein Modell ist, umso besser ist tendenziell die Antwortqualität und die Funktionalitäten (z.B. können einige Modelle Bilder analysieren). Ein grosses Modell braucht aber auch mehr Speicher und mehr Rechenleistung. Bei grossen Modellen kann es also sein, dass diese sehr langsam sind.Im Idealfall wählt man ein Modell, welches in den Speicher (VRAM) der eigenen Grafikkarte passt, weil diese die Berechnung vornimmt.
Die verfügbaren Modelle ändern sich dauernd. Der Use Case soll jedoch ein paar typische Beispiele von Modellen abdecken, welche auf normalen Geräten zum Einsatz kommen können:
Geräte | BeispielhafteLeistungsdaten | Geeignetes Sprachmodell |
Normaler Laptop (eher klein und leicht) | 16 GB Arbeitsspeicher und keine spezielle Grafikkarte | z.B. Qwen 3.5 9B(Alibaba – 6.55 GB)
|
Hochleistungs-Laptop (eher schwer und gross) | 32 GB Arbeitsspeicher und Grafikkarte mit eigenen 8 GB Speicher | z.B. Qwen 3.5 35B A3B(Alibaba - 22.07 GB) |
Normaler Computer (Desktop) | 16 GB Arbeitsspeicher und Grafikkarte mit eigenen 8 GB Speicher | z.B. GPT OSS 20B(OpenAI - 12.11 GB) |
Hochleistungs-Computer (Gaming oder Workstation) | 32 GB Arbeitsspeicher und Grafikkarte mit eigenen 16 GB Speicher | z.B. Qwen 3.5 35B A3B(Alibaba - 22.07 GB) |
Bemerkung : Die Tabelle bildet den Stand Ende März 2026 ab. Es ist davon auszugehen, dass weitere Modell erscheinen, welche mit gleichem Speicherbedarf eine höhere Leistung erreichen oder mit weniger Speicherbedarf die gleiche Leistung.
Falls Sie nicht wissen, wie viel Speicher ihr Computer hat, ist das kein Problem: In LM-Studio wird bei der Modellauswahl bereits angezeigt, ob das Modell wahrscheinlich in den Speicher (Arbeitsspeicher und Speicher der Grafikkarte) passt, oder ob es zu gross ist. Es wird «Full GPU Offload Possible angezeigt» wenn es in den Speicher der Grafikkarte passt. Sollte es nur mit einer Kombination aus Speicher der Grafikkarte und dem Arbeitsspeicher gehen – was langsamer ist, aber noch funktioniert -, dann heisst es «Partial GPU Offload Possible».
Wenn das Modell zu gross für den eigenen Computer ist, wird «Likely too large» angezeigt.
Solltet ihr doch ein zu grosses Modell heruntergeladen haben, dann wird LM Studio euch beim Start eine Fehlermeldung ausgeben, falls es nicht geht:
Sobald die Installation gemacht wurde und ein Modell heruntergeladen wurde, kann die lokale KI genutzt werden. Beispiele dafür findet ihr im Abschnitt Beispielprompts und im angehängten Dokument.
Vorteile
Kosteneinsparungen: Die Nutzung der lokalen Sprachmodelle setzt kein aktives Abonnement voraus. Die Kosten ergeben sich lediglich aus dem Stromverbrauch.
Datenschutz: Dadurch, dass keine Daten an Anbieter von KI-Lösungen gehen, kann davon ausgegangen werden, dass der Datenschutz in jedem Fall eingehalten wird. Die gesamte Verarbeitung erfolgt auf dem eigenen Computer oder Laptop.
Stabilität im Output: Anbieter wie ChatGPT nehmen dauernd Veränderungen an den eigenen Systemen vor. Das kann bedeuten, dass die Resultate nach einem Update plötzlich grundlegend anders sind. Bei einem lokalen Modell wird immer genau das gleiche Sprachmodell genutzt und die Variabilität der Antworten (Fachbegriff «Temperature») kann zusätzlich eingeschränkt werden. Somit ist die Chance grösser, dass die Resultate gleich oder ähnlicher bleiben auch im Verlauf der Zeit.
Nachteile
Reduzierter Funktionsumfang: Der Funktionsumfang und / oder die Qualität von lokalen Sprachmodellen ist geringer als die grossen Modelle der KI-Anbieter. Diese Sprachmodelle laufen auf Supercomputern und für die Nutzung von solchen Modellen reicht die Rechenleistung eines normalen Computers oder Laptops nicht aus.
Geringere Qualität der Ausgabe: Dadurch, dass lokale Modelle nicht die gleichen Möglichkeiten haben (z.B. weniger Trainingsdaten, kein aktiver Internetzugriff für Recherche) wie grosse Modelle – beispielsweise ChatGPT – ist in vielen Situationen die Qualität der Ausgabe geringer.
Unterschiedliche Geschwindigkeiten / Nutzungsmöglichkeiten: Bei grossen Modellen ist die Geschwindigkeit auf einem normalen Computer stark eingeschränkt. Was online (z.B. bei ChatGPT) in wenigen Sekunden passiert, kann hier auch mal mehrere Minuten dauern. Zudem gibt es bei den grossen Online-Modellen auch Funktionen, welche es lokal nicht oder nur eingeschränkt gibt (z.B. Websuche, Deep Research, Bildgenerierung).
Beispielprompts
Die lokalen Sprachmodelle können anschliessend für verschiedene Aufgaben im Unterrichtskontext genutzt werden. Nachfolgend finden Sie drei plakative Beispielprompts und ein Vergleich der Resultate mit den bekannten KI-Lösungen. Die Prompts sind dabei nicht vollständig ausformuliert und dienen eher der Illustration:
» Beispielprompt #1: Prüfen einer Prüfungsfrage auf die Formulierung und Verständlichkeit
» Beispielprompt #2: Einfache Erklärung für ein Konzept
» Beispielprompt #3: E-Mail formulieren
