Lokale KI-Modelle statt ChatGPT? Der Praxis-Einstieg für Lehrkräfte

Verfasst von Manuel Flick

KI-Tools wie ChatGPT gehören für viele Lehrkräfte längst zum Schulalltag. Und auch im Hinblick auf Datenschutz gibt es inzwischen geeignete Alternativen. Mit AIS.chat (früher telli) steht beispielsweise eine kostenlose, DSGVO-konforme Lösung auf EU-Servern in vielen Bundesländern bereit.

Ein Punkt bleibt trotzdem offen, egal ob ChatGPT und Co. direkt oder über einen datenschutzfreundlichen Weg: Die Abhängigkeit. Wir bleiben an große Anbieter und deren Modelle dahinter gebunden, an ihre Preisgestaltung, ihre Verfügbarkeit und ihre Entscheidungen. Jüngst hat sich dies deutlich gezeigt, als Fable 5 von Claude veröffentlicht und kurz darauf wieder gesperrt wurde (und jetzt doch wieder verfügbar ist).

Genau hier kommen lokale Sprachmodelle ins Spiel. Sie laufen direkt auf dem eigenen Rechner, offline, kostenlos und im Betrieb unabhängig von jedem Anbieter.

Das mag nach viel Technik klingen, ist in der Praxis aber weniger aufwendig und komplex als vielleicht gedacht. Genau das habe ich selbst so erlebt, und diese Erfahrung möchte ich hier mit euch teilen. Ich nehme euch Schritt für Schritt mit und erkläre, was lokale Sprachmodelle sind, warum sie für Schulen und Lehrkräfte relevant sind, was euer Rechner benötigt und wie ihr loslegt. Technik-Vorwissen braucht ihr dafür nicht.

1. Was sind lokale Sprachmodelle? 🤖

Ein Sprachmodell ist das, was hinter einem KI-Chatbot steckt. Bei ChatGPT, Claude oder Gemini sitzt dieses Modell in einem Rechenzentrum. Über euren KI-Chat schickt ihr eure Anfrage dorthin und erhaltet eine Antwort.

Ein lokales Sprachmodell funktioniert anders. Die Modelldatei wird einmal heruntergeladen und liegt dann auf der eigenen Festplatte. Die Verarbeitung erfolgt auf dem eigenen Rechner, es entsteht keine Verbindung nach außen, und für die Nutzung braucht es keine Internetverbindung.

Möglich wird das durch offene Modelle (oft „Open Source" genannt), die frei verfügbar sind. Populär ist aktuell Googles Familie Gemma. Daneben gibt es weitere offene Modelle, etwa von Meta (Llama), Alibaba (Qwen), Microsoft (Phi), Mistral, Moonshot AI (Kimi) und auch von OpenAI (GPT-OSS). Die meisten dieser Modelle arbeiten mit Text, manche verstehen zusätzlich Bilder oder Audio. Zusätzlich gibt es eigene lokale Modelle, die Sprache transkribieren oder Bilder erzeugen.

💡 Kurz erklärt: Open Source vs. Open Weight

Open Source im strengen Sinn verlangt nach der offiziellen Definition den vollständigen Code und eine genaue Dokumentation der Trainingsdaten.

Open Weight: Ihr bekommt das fertig trainierte Modell zum Download, aber nicht das Rezept dahinter, also weder Trainingsdaten noch Trainingscode. Das trifft auf die meisten „offenen" Modelle zu.

In der Praxis werdet ihr fast überall „Open Source" lesen, obwohl die meisten dieser Modelle streng genommen nur Open Weight sind. Der Begriff wird also lockerer verwendet, als er gemeint ist. Fürs Herunterladen und Offline-Nutzen macht das für euch aber keinen Unterschied.

2. Warum lokale KI für die Schule interessant ist 🔒

Lokale Modelle bringen für Schulen und Lehrkräfte mehrere Vorteile.

Im laufenden Betrieb kostenlos

Die Anschaffung eines passenden PCs oder Laptops kostet natürlich Geld, das Modell selbst nutzt ihr danach aber ohne Abo und ohne Nutzungskontingent, also ohne laufende Kosten.

Unter bestimmten Voraussetzungen datenschutzkonform

Da keine Eingabe das eigene Gerät verlässt, bleiben alle Daten lokal, und der Betrieb lässt sich unter den richtigen Voraussetzungen datenschutzkonform gestalten.

Komplett offline und unabhängig vom WLAN

Ein lokales Modell braucht keine Internetverbindung und läuft im Klassenzimmer auch ohne Empfang. Da stabiles WLAN leider noch immer nicht an allen Schulen Standard ist, zeigt sich auch hier ein Vorteil.

Unabhängig von jedem Anbieter

Wer seine Abläufe um einen fremden Dienst herum aufbaut, macht sich von dessen Preisgestaltung, Verfügbarkeit und Einschränkungen abhängig. Ein lokales Modell gehört euch: Was einmal auf dem Rechner liegt, läuft weiter, ganz gleich, was ein Anbieter entscheidet.

3. Wie gut sind lokale Modelle wirklich? 📊

Lokale Modelle auf einem normalen Rechner können aktuell nicht mit Spitzenmodellen wie GPT 5.6 oder Claude Fable 5 mithalten. Diese stärksten Modelle laufen weiterhin über die Cloud, also in den großen Rechenzentren der Anbieter.

Für den Schulalltag muss es aber gar nicht die absolute Spitze sein. Für viele schulische Aufgaben, etwa Texte zusammenfassen, Material und Aufgaben entwerfen oder Ideen sortieren, reichen lokale Modelle, betrieben auf dem eigenen Laptop, in der Regel schon jetzt aus.

Zur Einordnung: Lokale Modelle wie Gemma e4b oder gpt-oss 20b liegen in etwa auf dem Niveau von GPT-4o mini, einem Modell, das bis Mai 2025 noch als Standardmodell für kostenfreie ChatGPT-Konten diente und zum Beispiel bei fobizz sogar noch länger voreingestellt war.

Vergleich der Leistungsfähigkeit (Texte verfassen) von GPT-4o-mini mit Gemma e4b im Arena Leaderboard, Stand: Juli 2026

Dass die offenen Modelle inzwischen aber auch vorne mitspielen können, hat sich erst vor wenigen Tagen gezeigt. Das chinesische Unternehmen Moonshot AI hat mit Kimi K3 das bislang größte offene Modell vorgestellt, das in ersten Benchmarks fast auf Augenhöhe mit GPT 5.6 und Claude Fable 5 ist. Für den Betrieb braucht es jedoch weiter sehr leistungsstarke KI-Hardware und Server mit riesigen Speichern statt eines Laptops. Trotzdem steht damit fest: Offene Modelle schließen weiter zur Spitze auf.

Sprachmodell-Vergleich am Beispiel agentischer KI-Aufgaben (Quelle: kimi.com, Juli 2026)

Gleichzeitig verschiebt sich diese Grenze stetig, denn Sprachmodelle werden immer effizienter. Es zeigt sich, dass sich die „Fähigkeitsdichte" etwa alle dreieinhalb Monate verdoppelt. Für die gleiche Leistung braucht es also wenige Monate später nur noch ein halb so großes Modell (Xiao et al. 2025). Was heute ganze Server füllt, könnte also in wenigen Jahren auf normalen Rechnern laufen - auch unter Berücksichtigung, dass PCs und Laptops über die Jahre natürlich leistungsfähiger werden.

Wo einzelne lokale Modelle im Vergleich zu weiteren Sprachmodellen stehen, lässt sich gut über das Arena-Leaderboard feststellen. Dort sind viele Sprachmodelle aufgeführt und nach Leistungsfähigkeit bewertet. Ihr könnt die Liste nach Aufgabentyp filtern, etwa „Texte schreiben“, „agentischer Einsatz“ oder „Websuche“. So lässt sich auch gut einschätzen, wie sich die lokalen Modelle im Vergleich zu Cloud-Modellen von ChatGPT, Gemini oder Claude schlagen, die viele täglich im Einsatz haben.

4. Die Hardware-Frage: Was braucht mein Rechner? 💻

Bevor ihr ein lokales Sprachmodell verwenden könnt, gibt es eine Frage zu klären. Läuft lokale KI überhaupt auf dem eigenen Gerät?

Das hängt im Wesentlichen vom Arbeitsspeicher (RAM) ab, genauer vom Verhältnis zweier Werte:

  • wie viel Arbeitsspeicher das Sprachmodell belegt

  • wie viel Arbeitsspeicher euer Rechner hat

Modelle gibt es in verschiedenen Größen, angegeben in Milliarden Parametern, also zum Beispiel 3B, 8B oder 70B. Dabei gilt eine einfache Faustregel. Je größer das Modell, desto besser die Antworten, aber desto mehr Arbeitsspeicher braucht es. Denn zum Arbeiten muss das Modell in den Arbeitsspeicher passen. Damit auch kleinere Rechner mithalten, gibt es platzsparende Varianten, sogenannte quantisierte Modelle, die den Speicherbedarf senken.

Zur Einordnung ein paar Richtwerte.

  • 8 GB RAM: Die kleinsten Modelle (rund 2 bis 4B) laufen solide, wenn sonstige Programme geschlossen sind.

  • 16 GB RAM: Modelle bis etwa 9B laufen in der Regel gut.

  • 32 GB RAM: Auch größere Modelle laufen.

💡 So findet ihr heraus, wie viel RAM in eurem Rechner steckt

Windows: Öffnet mit Strg + Umschalt + Esc den Task-Manager und klickt auf „Leistung" → „Arbeitsspeicher". Alternativ: Einstellungen → System → Info.

Mac: Klickt oben links auf das Apfel-Menü und dann auf „Über diesen Mac". Dort seht ihr euren Chip (z. B. M2 oder M3) und den Arbeitsspeicher.

Arbeitsspeicher einsehen am Beispiel eines MacBooks

Zwei Hinweise noch. Erstens benötigen die Modelle auch Platz auf der Festplatte, je nach Größe von wenigen bis zu einigen Dutzend Gigabyte, nach oben offen. Zweitens sind aktuelle Macs mit Apple-Silicon-Chips (M1 und neuer) hier etwas im Vorteil, weil sich ihr Speicher besonders effizient nutzen lässt.

Welches Sprachmodell bei euch läuft, zeigt euch der nächste Abschnitt.

5. Welches Sprachmodell passt? Der Modellfinder 🚦

Statt Modellgrößen und Speicherwerte selbst gegeneinander abzuwägen, könnt ihr euch die Arbeit abnehmen lassen. Der Modellfinder zeigt euch auf einen Blick, welche Modelle zu eurer Hardware passen, ganz ohne technisches Hintergrundwissen. So lässt sich vorab die Kompatibilität einschätzen, statt unnötigerweise ein unpassendes Modell zu installieren.

Ihr gebt dazu kurz die Eckdaten eures Rechners an, vor allem den Arbeitsspeicher, und erhaltet eine systematische Einordnung nach dem Ampelprinzip: Welche Modelle laufen bei euch flüssig, welche nur mit Abstrichen und welche eher nicht.

Dazu kommt eine Empfehlung, welches konkrete Modell am besten zu eurer Hardware passt, ergänzt um eine Empfehlung mit stärkerem Fokus auf der Leistungsfähigkeit und eine mit stärkerem Fokus auf Geschwindigkeit.

Genauso könnt ihr mit dem Modellfinder ein bestimmtes Sprachmodell auswählen und prüfen, ob es auf eurer Hardware wirklich läuft. Wählt dazu zu Beginn den Weg über das Sprachmodell.

Finder für lokale KI-Modelle

Finder für lokale KI-Modelle

Wer stattdessen einen schnellen Überblick darüber haben möchte, welche Modelle passen, findet hier ein paar Beispielmodelle:

💻 Welches lokale KI-Modell läuft auf welchem Rechner?

Modell Arbeitsspeicher (grob)
Llama 3.2 3BMeta · schlanker Allrounder ab 8 GB
Gemma 4 4BGoogle · versteht auch Bilder ab 8 GB
gpt-oss 20BOpenAIs offenes Modell ab 16 GB

Grobe Richtwerte; plane etwas Puffer fürs System ein.

Merkt euch im Anschluss die Modellbezeichnung, die braucht ihr im nächsten Schritt.

6. Womit du startest: Ollama und Alternativen 🚀

Für die Verwendung der Sprachmodelle gibt es inzwischen mehrere Varianten und eine Vielzahl kostenloser Programme.

Meine Empfehlung für den Start ist Ollama.

Die App ist bewusst aufs Wesentliche reduziert. Ihr installiert das Programm, ladet ein Sprachmodell herunter und schon kann es losgehen. Ollama ist dabei auf Text ausgelegt und kann zusätzlich Modelle mit Bildverständnis ausführen. Für andere Aufgaben wie Transkription oder Bilderzeugung benötigt ihr spezielle Werkzeuge. Ollama ist zudem selbst Open Source und läuft auf Windows, Mac und Linux.

Zur Download-Seite von Ollama gelangt ihr direkt über den Button:

Zu Ollama

Neben Ollama gibt es weitere Alternativen, zum Beispiel LM Studio. Das Programm ist ebenfalls kostenlos und bringt weitere Möglichkeiten und Funktionen mit sich. Es wird aber auch wieder ein wenig technischer und ist eher etwas für alle, die tiefer einsteigen wollen. Daneben gibt es weitere Optionen wie GPT4All oder das komplett quelloffene Jan.

7. Video-Anleitung: Installation und Einrichtung von Ollama 📽️

Um euch den Start weiter zu erleichtern, seht ihr im nachfolgenden Video Schritt für Schritt, wie ihr Ollama installiert und einrichtet.

Ein Hinweis dazu: Im Video dauert die Textgenerierung recht lange. Das liegt vermutlich daran, dass parallel meine Bildschirmaufnahme lief und weitere Programme geöffnet waren. Sind diese geschlossen, arbeitet das Sprachmodell in der Regel deutlich schneller.

Wie schnell das sein kann, seht ihr im nächsten Video-Ausschnitt am Beispiel des Sprachmodells Gemma 4 E2B. Dort habe ich mit einem simplen Prompt eine kurze Unterrichtseinheit angestoßen, nach etwa einer Minute stand das Ergebnis. Sicher nicht ganz so schnell wie vergleichbare Cloud-Modelle, aber dennoch alltagstauglich.

8. Einordnung und Ausblick: Vom Vorbereitungstool zum Unterrichtswerkzeug 🔭

Dieser Beitrag betrachtet lokale Sprachmodelle bisher vor allem als Werkzeug für euch als Lehrkraft, mit Fokus auf Unterrichtsvorbereitung und Materialerstellung.

Ebenso denkbar ist ein Einsatz unmittelbar im Unterricht. Voraussetzung dafür ist die Installation eines geeigneten Modells, beispielsweise über Ollama, auf schulischen Endgeräten oder zentral auf einem schulinternen Server. Technisch handelt es sich um ein Projekt für die Schul-IT, was jedoch durchaus im Rahmen des Möglichen liegt. Dies hat sich mir auch im Rahmen einer Fortbildung an einer Schule in Nordrhein-Westfalen gezeigt, die bereits mehrere lokale Modelle auf einem schulinternen Server über Ollama betreibt und lokale KI entsprechend schulintern bereitstellt.

Ferner haben Susanne Alles, Regina Schulz und Britta Kölling im vergangenen Monat die Offline-KI-Werkbank vorgestellt, eine kostenfreie, plattformunabhängige und offline nutzbare KI-Umgebung für den Bildungsbereich. Sie umfasst nicht nur lokale Chats, sondern auch Medienwerkzeuge wie Transkription und Handschrifterkennung sowie das Erstellen von KI-Assistenten, die sich auch von Schüler:innen nutzen lassen.

Daran zeigt sich ebenfalls gut, dass lokale KI nicht nur als Vorbereitungswerkzeug dienen kann, sondern, richtig aufgesetzt, als digital souveräne Infrastruktur für Schulen. Ich freue mich sehr auf die weitere Entwicklung dieses Projekts. Und ebenso darauf, was sich in diesem Feld darüber hinaus noch tut.

9. Fazit 📝

Auch wenn lokale Modelle nicht mit den absoluten Spitzenmodellen mithalten können, bringen sie viele Vorteile mit sich und rücken technisch immer weiter in Reichweite. Sie laufen kostenlos, offline und nach Installation unabhängig von jedem Anbieter. Für viele Aufgaben in der Schule reichen lokale Sprachmodelle aus und hinsichtlich Datenschutz habt ihr eine hervorragende Ausgangslage, weil nichts das eigene Gerät verlässt.

Zudem lässt sich beobachten, dass die Richtung stimmt. Offene Modelle wie Kimi K3 schließen zur Spitze auf, während Sprachmodelle insgesamt immer effizienter werden.

Ebenso zeigt sich, dass der Einstieg leichter ist, als es auf den ersten Blick vermuten lässt. Der Modellfinder hilft euch, ein passendes Sprachmodell zu finden und die Video-Anleitung unterstützt euch bei der Installation, sodass ihr zügig die ersten Schritte gehen könnt.

Ich freue mich, wenn ihr in diesem Zuge ins eigenständige Ausprobieren kommt! Werdet ihr mit lokaler KI experimentieren, oder habt ihr es vielleicht sogar schon? Welches Potenzial seht ihr?

Ich freue mich auf eure Kommentare.

Literaturverzeichnis

Xiao, C. et al. (2025): Densing law of LLMs. In: Nature Machine Intelligence. Online: https://www.nature.com/articles/s42256-025-01137-0 (Preprint: https://arxiv.org/abs/2412.04315)

Manuel Flick
Weiter

KI-Agenten in Schule und Unterricht: Zwischen Erledigen und Lernen