KI, die dein Haus nie verlässt

Eine KI, die komplett auf deinem eigenen Rechner läuft: ohne Abo, ohne Cloud, und wenn du willst, sogar mit ausgeschaltetem WLAN. Damit kannst du Verträge, Kundenanfragen und interne Unterlagen bearbeiten, ohne dass ein Datensatz deinen Betrieb verlässt.

Hier ist meine Schritt-für-Schritt-Einrichtung: das Programm, das passende Modell für deinen Rechner, der Offline-Test als Beweis und die ersten Prompts zum Kopieren. Rechne mit etwa 20 Minuten, den größten Teil davon lädt dein Rechner das Modell herunter.

Stand: Oktober 2026. Fakten laut Google (Gemma-Dokumentation und Open-Source-Blog) und der offiziellen Ollama-Dokumentation (docs.ollama.com). Wenn sich dort etwas ändert, gilt die Originalquelle.

Bevor du startest

• Windows 10 (Version 22H2) oder neuer, oder ein Mac mit macOS 14 (Sonoma) oder neuer. Am besten läuft es auf Macs mit M-Chip.
• Freier Speicherplatz: etwa 4 GB für das Programm plus 5 bis 20 GB für das Modell, je nach Größe.
• Einmal Internet für den Download. Danach brauchst du keins mehr.
• Keine Admin-Rechte nötig: Unter Windows installiert sich Ollama in deinem eigenen Benutzerkonto.

Welches Modell passt zu deinem Rechner?

Gemma 4 gibt es in mehreren Größen. Größer heißt klüger, aber auch hungriger nach Arbeitsspeicher. Den Arbeitsspeicher findest du unter Windows in den Einstellungen unter System, Info („Installierter RAM“), auf dem Mac im Apple-Menü unter „Über diesen Mac“ („Speicher“).

Faustregel, abgeleitet aus Googles Speichertabelle für Gemma 4 und den Download-Größen bei Ollama. Wird es zu langsam, nimm eine Nummer kleiner. Läuft es flüssig, probier eine Nummer größer.

In 5 Schritten zur lokalen KI

1. Ollama installieren

   Geh auf ollama.com/download, lade die Version für Windows oder Mac herunter und installier sie. Unter Windows startest du die Datei OllamaSetup.exe, auf dem Mac ziehst du Ollama in den Programme-Ordner.

   Danach läuft Ollama im Hintergrund. Unter Windows siehst du das Symbol unten rechts in der Taskleiste, auf dem Mac oben in der Menüleiste.

2. Cloud-Funktionen ausschalten

   Das ist der wichtigste Schritt für deinen Datenschutz. Ollama bietet inzwischen auch Cloud-Modelle an. Die erkennst du an der Endung :cloud, zum Beispiel gemma4:cloud. Bei denen gehen deine Eingaben laut Ollama an deren Server. Genau das willst du hier nicht.

   Nie ein Modell mit „cloud“ im Namen wählen und dich in Ollama nicht anmelden. Für lokale Modelle brauchst du kein Konto.

   Damit das auch keinem Kollegen aus Versehen passiert, schaltest du die Cloud ganz ab. Öffne dazu das Terminal: unter Windows die Eingabeaufforderung (Windows-Taste, „cmd“ tippen, Enter), auf dem Mac das Programm „Terminal“. Dann diesen Befehl einfügen und Enter drücken:

   WindowsKopieren

   setx OLLAMA_NO_CLOUD 1

   MacKopieren

   launchctl setenv OLLAMA_NO_CLOUD 1

   Danach Ollama einmal beenden (Rechtsklick bzw. Klick auf das Symbol, „Quit Ollama“) und neu starten. Auf dem Mac musst du den Befehl nach jedem Neustart des Rechners wiederholen. Unter Windows bleibt die Einstellung dauerhaft.

3. Gemma 4 herunterladen

   Im selben Terminal-Fenster holst du dir das Modell, das zu deinem Rechner passt. Für die meisten ist das dieser Befehl:

   Modell ladenKopieren

   ollama pull gemma4:e4b

   Hast du nur 8 GB Arbeitsspeicher, ersetzt du e4b durch e2b. Hast du 32 GB, kannst du 12b nehmen. Der Download dauert je nach Leitung ein paar Minuten. Wenn „success“ erscheint, liegt das Modell fest auf deinem Rechner.

4. Der Offline-Test

   Jetzt der Beweis. Schalte das WLAN aus und zieh gegebenenfalls das Netzwerkkabel. Dann startest du das Modell:

   Modell startenKopieren

   ollama run gemma4:e4b

   Schreib eine Frage, zum Beispiel „Erklär mir in drei Sätzen, was eine Auftragsbestätigung ist.“ und drück Enter. Die Antwort kommt, obwohl dein Rechner keine Verbindung zum Internet hat. Genau das ist der Punkt: Was du hier eingibst, wird auf deinem Rechner verarbeitet.

   Beenden kannst du den Chat mit /bye. Statt im Terminal kannst du auch im Ollama-Fenster schreiben: App öffnen, dort dein heruntergeladenes Gemma-4-Modell auswählen, losschreiben.

   Längere Texte im Terminal: Setz drei Anführungszeichen """ an den Anfang und ans Ende deines Textes. Dann kannst du auch mehrere Absätze am Stück einfügen.

5. Die ersten Prompts

   Drei Aufgaben aus dem Alltag, mit denen du direkt loslegen kannst. Den Text in den eckigen Klammern ersetzt du durch deinen eigenen.

   Vertrag zusammenfassenKopieren

   Fass den folgenden Vertrag für mich zusammen:
   1. Worum geht es in zwei Sätzen?
   2. Laufzeit, Kündigungsfristen und Kosten
   3. Pflichten für uns und Pflichten für den Vertragspartner
   4. Klauseln, die ungewöhnlich sind oder die ich mir genauer ansehen sollte
   Wenn etwas nicht im Text steht, schreib „steht nicht im Vertrag“ und rate nicht.
   
   [VERTRAGSTEXT HIER EINFÜGEN]

   Antwort auf eine KundenanfrageKopieren

   Entwirf eine Antwort auf diese Kundenanfrage. Wir sind [DEINE FIRMA, BRANCHE].
   Ton: freundlich, klar, höchstens acht Sätze, Anrede mit [Sie oder Du].
   Versprich nichts, was nicht in der Anfrage oder in meinen Hinweisen steht.
   Markiere Stellen, die ich noch ergänzen muss, mit [OFFEN].
   
   Meine Hinweise: [z. B. Liefertermin, Preis, nächster Schritt]
   
   Anfrage:
   [TEXT DER ANFRAGE HIER EINFÜGEN]

   Unterlagen sortierenKopieren

   Hier ist eine Liste interner Unterlagen mit kurzer Beschreibung.
   Sortier sie in sinnvolle Ordner, schlag für jeden Ordner einen klaren Namen vor
   und nenne Dokumente, die doppelt oder veraltet wirken.
   Antworte als Liste: Ordnername, darunter die Dokumente.
   
   [LISTE DER UNTERLAGEN HIER EINFÜGEN]

Ehrlich gesagt: die Grenzen

• Die großen Cloud-Modelle sind stärker. Für sehr anspruchsvolle Aufgaben, lange Analysen oder komplexe Texte kommen lokale Modelle nicht ganz mit. Für Vertrauliches ist lokal aber der sauberste Weg.
• Lokal heißt: dein Rechner rechnet. Auf einem älteren Laptop dauern Antworten spürbar länger als bei ChatGPT oder Claude. Das ist normal.
• Auch lokale KI macht Fehler. Zahlen, Fristen und Namen prüfst du selbst, bevor etwas an einen Kunden geht.
• Datenschutz endet nicht bei der KI. Die Daten liegen jetzt auf deinem Rechner. Der sollte ein Passwort haben, und die Festplatte sollte verschlüsselt sein (Windows: BitLocker bzw. Geräteverschlüsselung, Mac: FileVault). Welche Daten wer bearbeiten darf, regelst du wie bisher intern.

Für deinen Datenschutzverantwortlichen

Falls du diesen Guide weiterleitest: So lässt sich das in zwei Minuten selbst nachprüfen, ohne mir glauben zu müssen.

• Offline-Test: Netzwerk trennen, Modell starten, Frage stellen. Kommt eine Antwort, findet die Verarbeitung auf dem Gerät statt.
• Ollama selbst schreibt in seiner offiziellen FAQ: Ollama läuft lokal, bei lokalen Modellen sieht der Anbieter weder Eingaben noch Daten. Cloud-Modelle sind an der Endung :cloud erkennbar und lassen sich über OLLAMA_NO_CLOUD=1 komplett abschalten.
• Lizenz: Gemma 4 steht unter Apache 2.0, einer der verbreitetsten Open-Source-Lizenzen. Geschäftliche Nutzung ist erlaubt.

Das ist eine technische Anleitung, keine Rechtsberatung.

Neue Guides direkt per Mail