Lokale KI statt ChatGPT: fertig in 30 Minuten [Ohne Code]

Ein KI-Modell läuft auf deinem Rechner, antwortet, und der Netzwerk-Monitor zeigt null ausgehende Verbindungen. Kein Byte verlässt dein Netzwerk. Genau dieses Setup baust du in rund 30 Minuten auf, ohne eine einzige Zeile Terminal.

Welches Modell? Der RAM entscheidet

Nicht die CPU, nicht die Grafikkarte: Der Arbeitsspeicher bestimmt, welches Modell dein Rechner fahren kann. Die Zahlen hinter den Modellnamen sind die Parameter, und das ganze Modell muss beim Arbeiten in den RAM passen. Die Übersicht für Gemma 4:

• Bis 16 GB RAM: Gemma 4 12B
• 24 bis 32 GB RAM: Gemma 4 26B A4B
• Ab 40 GB RAM: Gemma 4 31B

Gemma 4 kommt von Google, spricht gut Deutsch und ist stark in Alltagstexten: Mails, Angebote, Berichte. Das 26B A4B nutzt Mixture of Experts: Von 26 Milliarden Parametern sind pro Anfrage nur 4 Milliarden aktiv. Das macht es schnell und RAM-schonend. Dazu steht es unter der Apache-2.0-Lizenz: kommerzielle Nutzung erlaubt, kein Abo, kein Kleingedrucktes.

Die Installation in sechs Schritten

1. LM Studio installieren. Download von lmstudio.ai, wie jede andere App. LM Studio ist die Engine, die das Modell tatsächlich ausführt, auf Apple Silicon nativ über MLX.
2. Modell laden. In LM Studio links auf „Discover", nach „Gemma 4" suchen. Auf dem Mac die MLX-Variante wählen, auf Windows GGUF. Modell: Gemma 4 26B A4B QAT. Der Download ist rund 14–16 GB groß (10–40 Minuten je nach Verbindung).
3. Kontext-Länge setzen. Beim Laden die Context Length auf 65536 stellen. Die brauchst du später für den Agent-Einsatz. Direkt richtig setzen spart Neuladen.
4. Lokalen Server starten. Im Developer-Tab den Server einschalten (localhost:1234). Ein Schalter, mehr nicht.
5. Hermes Desktop installieren. Die grafische Chat-Oberfläche: Schaltflächen statt Kommandozeile.
6. Modell auswählen. In Hermes oben links Gemma 4 anklicken. Fertig, die lokale KI steht.

Wer doch lieber die Kommandozeile nutzt, erreicht dasselbe so:

lms server start
lms load gemma-4-26b-a4b-qat --context-length 65536 --gpu max
lms ps

GPU-Check: läuft es auf der Grafikkarte?

Der Unterschied zwischen drei und zwanzig Sekunden Antwortzeit. Die Statusanzeige verrät es: Metal oder MLX heißt Apple Silicon mit aktiver Grafikkarte. CUDA oder Vulkan heißt Windows mit dedizierter GPU. Steht dort nur CPU, hast du vermutlich die falsche Modell-Version geladen: Auf dem Mac heißt die richtige MLX, auf Windows GGUF mit GPU-Offload. Einmal im Discover-Tab neu laden.

Der Beweis: null ausgehende Verbindungen

Während des Chats läuft der Netzwerk-Monitor mit: Little Snitch oder der macOS-eigene Aktivitätsmonitor im Tab „Netzwerk". Selbst bei einem Prompt mit fiktiven personenbezogenen Daten (Name, Wohnort, Beträge) bleibt die Anzeige bei null externen Verbindungen. Der Prompt verlässt den Rechner nicht. Lokale KI löst nicht jede DSGVO-Frage. Modell-Herkunft und Trainingsdaten sind eigene Themen. Aber den Datenabfluss beim täglichen Arbeiten löst sie.

Noch ein ehrlicher Hinweis: Für reine Textarbeit reicht sogar das eingebaute Chatfenster von LM Studio. Hermes brauchst du dafür streng genommen nicht. Interessant wird Hermes, wenn das Modell handeln soll: Gemma 4 kann Werkzeuge bedienen und zum Beispiel einen Ordner voller Angebote lesen und in eine neue Ordnerstruktur sortieren, ohne dass eine Datei den Rechner verlässt.

Quellen

• https://lmstudio.ai
• https://ai.google.dev/gemma