Lokale KI-Modelle im Vergleich: Lizenz, Sprachen und Hardware für Unternehmen

Kann man ChatGPT lokal betreiben?

ChatGPT selbst können Sie nicht herunterladen. Für den Betrieb auf eigener Hardware hat OpenAI aber zwei Modelle mit offenen Gewichten veröffentlicht: gpt-oss-20b und gpt-oss-120b. Laut Model Card hat gpt-oss-120b 117 Mrd. Parameter, von denen pro Token 5,1 Mrd. aktiv sind, und passt auf eine einzelne GPU mit 80 GB. Dem kleineren gpt-oss-20b mit 21 Mrd. Parametern genügen 16 GB Speicher.

Offene Gewichte heißt: Sie laden die trainierten Parameter herunter und betreiben das Modell selbst, nach dem Download auch ohne Internetverbindung. Was Sie im Unternehmen damit dürfen, regelt aber nicht die Technik, sondern die Lizenz des Modells. Deshalb ist die Lizenz bei der Auswahl eines lokalen Modells das erste Kriterium, noch vor Größe und Sprachen.

Welche lokalen KI-Modelle dürfen Unternehmen kommerziell nutzen?

Auf eigener Hardware dürfen Unternehmen alle Modelle in diesem Vergleich betreiben, mit einer Ausnahme: Für die multimodalen Llama-4-Modelle gewährt Meta Unternehmen mit Hauptsitz in der EU keine Rechte. Eine Bedingung stellt außerdem Mistral Large 4, und zwar für Firmen, die das Modell Dritten als Dienst anbieten.

Apache 2.0 erlaubt Nutzung und Änderung, auch für kommerzielle Zwecke. Für Mistral Large 4 hat Mistral AI dagegen eine eigene, modifizierte MIT-Lizenz eingeführt. Interne Nutzung ist frei. Betreibt Ihr Unternehmen ein „Model as a Service“-Geschäft, gibt also Dritten über eine API oder einen gehosteten Endpunkt Zugriff mit Kontrolle über Eingaben oder Parameter, brauchen Sie vor jeder kommerziellen Nutzung eine separate Lizenz von Mistral. Ein Produkt, in dessen einzelne Funktionen das Modell nur eingebettet ist, gilt laut Lizenz nicht als solcher Dienst.

Die Einschränkung für Llama 4 steht in Metas Acceptable Use Policy: Für multimodale Modelle in Llama 4 werden die Rechte aus Section 1(a) der Lizenz weder Personen mit Wohnsitz in der EU noch Unternehmen mit Hauptsitz in der EU gewährt. Ausgenommen sind Endnutzer eines Produkts, das ein solches Modell enthält. Llama 4 Scout und Maverick sind nativ multimodal. Wir lesen Lizenzen technisch; die rechtliche Bewertung bleibt bei Ihrer Kanzlei.

Ausdrücklich Deutsch und zugleich Apache 2.0 bieten damit Mistral Small 4 und Ministral 3. Ob ein Modell die Fachsprache Ihrer Verträge, Handbücher oder Arztbriefe trifft, zeigt aber erst ein Test mit Ihren eigenen Dokumenten.

Welche Hardware braucht ein lokales LLM?

Entscheidend ist der Grafikspeicher: Gewichte und Kontext sollten vollständig hineinpassen. Als Faustregel belegt ein Parameter bei 8-Bit-Quantisierung ein Byte und bei 4 Bit ein halbes. Ein Modell mit 30 Mrd. Parametern braucht also rund 30 GB in 8 Bit und 15 GB in 4 Bit, bevor es die erste Anfrage verarbeitet.

Bei Mixture-of-Experts-Modellen zählt die Gesamtzahl der Parameter, nicht die aktiven. Google schreibt zu Gemma 4 26B A4B, dass beim Generieren pro Token zwar nur 4 Mrd. Parameter arbeiten, aber alle 26 Mrd. im Speicher liegen müssen.

Die Gemma-Werte gibt Google mit 20 % Aufschlag für das Laden an. Unsere Schätzungen rechnen 1 Byte pro Parameter in 8 Bit und 0,5 Byte in 4 Bit, plus 20 % Reserve. Bei allen Modellen kommt der Kontext hinzu: Je länger Dokumente und Antworten und je mehr Anfragen gleichzeitig laufen, desto mehr Speicher braucht der Server.

Eine GPU mit 96 GB, etwa die NVIDIA RTX PRO 6000 Blackwell, fasst gpt-oss-120b oder Mistral Small 4 in 4 Bit samt Reserve für den Kontext. Mistral Small 4 in 8 Bit braucht zwei solche Karten, Mistral Large 4 auch in 4 Bit einen Server mit acht GPUs.

Ollama oder vLLM: Wie betreibt man KI lokal?

Ollama eignet sich für den Test an einem Arbeitsplatz, vLLM für den Server, den viele gleichzeitig nutzen. Beide sind Open Source (Ollama unter MIT-Lizenz, vLLM unter Apache 2.0) und starten dieselben Familien offener Modelle; gpt-oss läuft laut OpenAI mit beiden. Der Unterschied liegt darin, wie viele Anfragen sie gleichzeitig bedienen und wie sie sich in die IT einfügen.

Ollama ist für einen einzelnen Rechner gebaut. Standardmäßig lauscht es nur auf 127.0.0.1, Port 11434, also auf dem eigenen Gerät. Jedes Modell bearbeitet in der Grundeinstellung eine Anfrage zur selben Zeit (OLLAMA_NUM_PARALLEL = 1). Weitere Anfragen warten in einer Schlange mit Platz für 512; danach antwortet der Server mit Fehler 503. Mehr Parallelität lässt sich einstellen, der Speicherbedarf wächst dann mit der Zahl paralleler Anfragen mal Kontextlänge.

Wichtig für Unternehmen: Ollama bietet neben lokalen auch Cloud-Modelle an. Bei diesen verarbeitet Ollama nach eigener Aussage Ihre Eingaben und Antworten, um den Dienst zu erbringen; bei lokal laufenden Modellen sieht Ollama weder Eingaben noch Daten. Mit der Umgebungsvariablen OLLAMA_NO_CLOUD=1 schalten Sie die Cloud-Funktionen ab.

vLLM ist ein Server für den Produktivbetrieb. Er fasst eingehende Anfragen laufend zu Stapeln zusammen (Continuous Batching), verwaltet den Kontextspeicher mit PagedAttention und verteilt große Modelle per Tensor-Parallelität auf mehrere GPUs. Nach außen bietet er eine OpenAI-kompatible API; Anwendungen, die für die OpenAI-Schnittstelle gebaut sind, lassen sich so in der Regel auf Ihren Server umstellen. Für den Produktivbetrieb von Mistral Small 4 empfiehlt Mistral AI ausdrücklich vLLM.

Wie installiere ich ein lokales LLM für den ersten Test?

Mit Ollama und gpt-oss-20b auf einem Rechner mit 16 GB Grafikspeicher. Der Test zeigt, wie ein offenes Modell mit Ihren Fragen umgeht, bevor Sie Hardware kaufen.

1. Ollama von ollama.com installieren: Installer für Windows und macOS, Installationsskript für Linux oder das Docker-Image ollama/ollama.
2. Cloud-Funktionen abschalten, bevor Sie Firmendaten eingeben: die Umgebungsvariable OLLAMA_NO_CLOUD=1 setzen oder in der Datei ~/.ollama/server.json den Eintrag disable_ollama_cloud auf true stellen. Nach dem Neustart steht im Log „Ollama cloud disabled: true“.
3. Modell laden und starten: ollama pull gpt-oss:20b, danach ollama run gpt-oss:20b.
4. Mit 20 echten Fragen aus Ihrem Arbeitsalltag testen, in der Sprache Ihrer Dokumente. Dieselben Fragen danach einem zweiten Modell stellen, etwa Gemma 4, und die Antworten vergleichen.
5. Andere Programme sprechen das Modell über die REST-API unter http://localhost:11434/api/chat an.
6. Sollen Kollegen mittesten, ändern Sie die Adresse mit OLLAMA_HOST, und zwar nur im internen Netz hinter der Firewall. Für den Dauerbetrieb mit vielen Nutzern wechseln Sie auf vLLM.

Damit das Modell aus ganzen Ablagen antwortet und zu jeder Antwort die Quelle nennt, braucht es zusätzlich eine Dokumentensuche (RAG). Sie liefert dem Modell zu jeder Frage die passenden Passagen aus Ihren Dateien.

Welches lokale Modell für welchen Einsatz?

Ein bestes lokales Modell gibt es nicht, es gibt eines pro Aufgabe und Hardware. Für typische Einsätze im Unternehmen ergibt der Vergleich diese Wahl:

Welcher Server für wie viele Mitarbeitende reicht, steht mit Preisen auf der Seite Lokale KI für Unternehmen. Was der eigene Server gegenüber Cloud-API und Abo pro Nutzer über 36 Monate kostet, rechnet der KI-Kostenrechner mit Ihren Zahlen.

Häufige Fragen

Wie gut sind lokale KI-Modelle im Vergleich zu ChatGPT?

Die Benchmarks in den Model Cards messen allgemeine Aufgaben, nicht Ihre Dokumente. Bei Fragen an interne Unterlagen hängt die Antwort zudem stark davon ab, ob die Suche die richtigen Passagen findet. Verlässlich ist nur ein Test mit echten Fragen aus Ihrem Alltag, mit zwei bis drei Modellen nebeneinander.

Läuft lokale KI auch auf einem PC ohne Grafikkarte?

Ja, Ollama kann ein Modell auch auf dem Prozessor ausführen. Dann muss das Modell samt Kontext statt in den Grafikspeicher in den freien Arbeitsspeicher passen. Für viele gleichzeitige Nutzer ist dagegen ein Server mit GPU und vLLM gedacht.

Dürfen wir ein offenes Modell mit eigenen Daten nachtrainieren?

Unter Apache 2.0 ja, die Lizenz erlaubt Änderungen auch für kommerzielle Zwecke. gpt-oss-20b lässt sich laut OpenAI auf Consumer-Hardware feintunen, gpt-oss-120b auf einem einzelnen H100-Knoten. Ein LoRA-Adapter passt das Modell an, ohne seine Basisgewichte zu verändern.

Was passiert, wenn ein neueres Modell erscheint?

Sie können das Modell tauschen, sollten die Lizenz aber neu prüfen. Mistral AI führt Mistral Large 3, veröffentlicht unter Apache 2.0, seit dem 31.10.2026 in seiner API als veraltet und nennt als Nachfolger Mistral Large 4 mit eigener Lizenz.