Ollama Setup: dein erstes lokales Modell

Ein KI-Modell auf dem eigenen Rechner laufen lassen — ohne Cloud, ohne Anmeldung, ohne dass Daten das Gerät verlassen: Das ist der stärkste Datenschutz-Hebel, den es gibt. Ollama ist der einfachste Weg dorthin. Diese Anleitung führt dich von der Installation bis zum ersten Chat, für Windows, macOS und Linux.

Erstellt von der FlowKI-Community. Die Befehle sind stabil; die konkreten Modell-Namen/-Größen ändern sich — die neueste Liste steht immer auf der offiziellen Modell-Seite von Ollama.

---

Was du brauchst

• Einen halbwegs aktuellen Rechner. Für kleine Modelle (1–3 Mrd. Parameter) reicht oft schon eine CPU mit 8 GB RAM; für flüssige größere Modelle hilft eine Grafikkarte mit genug Speicher.
• Rund 15 Minuten und ein paar GB freien Speicherplatz pro Modell.
• Hintergrundwissen zu Modellgrößen/Quantisierung: siehe Quantisierung Q4/Q5/Q8.

Schritt 1 — Ollama installieren

• Windows: Installer von ollama.com/download laden und ausführen. Ollama läuft danach als Hintergrunddienst.
• macOS: ebenfalls über ollama.com/download (App laden, in den Programme-Ordner ziehen).
• Linux: im Terminal:

curl -fsSL https://ollama.com/install.sh | sh

Schritt 2 — Installation prüfen

Öffne ein Terminal (Windows: PowerShell) und tippe:

ollama --version

Erscheint eine Versionsnummer, läuft alles.

Schritt 3 — Ein Modell laden und starten

Ein Modell ziehen und direkt chatten (Beispiel mit einem kleinen Modell):

ollama run llama3.2

Beim ersten Aufruf lädt Ollama das Modell herunter, danach startet direkt der Chat. Tippe deine Frage, Strg + D (bzw. /bye) beendet den Chat.

Tipp: Fang klein an. Ein 1–3B-Modell startet auf fast jeder Hardware. Läuft es flüssig, probierst du ein größeres. Welche Größe/Quantisierung passt, klärt das Quantisierungs-Cheat-Sheet.

Schritt 4 — Nützliche Befehle

Befehl	Wirkung
ollama list	zeigt installierte Modelle
ollama pull [modell]	lädt ein Modell, ohne zu starten
ollama run [modell]	startet einen Chat
ollama rm [modell]	löscht ein Modell (Speicher frei)
ollama ps	zeigt laufende Modelle
/bye	beendet den aktuellen Chat

Schritt 5 — Modell in eigenen Programmen nutzen (optional)

Ollama stellt eine lokale Schnittstelle bereit (standardmäßig auf Port 11434). So kannst du per einfachem Aufruf antworten lassen:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Erklär mir in einem Satz, was Ollama ist.",
  "stream": false
}'

Damit lässt sich ein lokales Modell in eigene Skripte oder Tools einbinden — komplett offline.

Häufige Stolpersteine

1. Modell zu groß. Bricht das Laden ab oder wird es extrem langsam, ist zu wenig Speicher (RAM/VRAM) da → kleineres Modell oder stärkere Quantisierung wählen.
2. „Command not found" nach der Installation. Terminal neu öffnen; unter Windows kurz ab- und anmelden, damit der Pfad aktiv wird.
3. GPU wird nicht genutzt. Aktuelle Grafiktreiber installieren; Ollama nutzt die GPU automatisch, wenn sie erkannt wird — sonst läuft es (langsamer) auf der CPU.
4. Speicher voll. Modelle sind groß. Mit ollama list prüfen und Ungenutztes per ollama rm entfernen.

Warum lokal?

Deine Eingaben verlassen den Rechner nicht — ideal für sensible Inhalte und ein starker DSGVO-Hebel. Der Nachteil: lokale Modelle sind kleiner als die großen Cloud-Modelle, also nicht immer so stark. Für viele Aufgaben (Zusammenfassen, Umformulieren, Entwürfe) reichen sie aber gut.

Welche Modelle laufen bei dir am besten? Teile deine Konfiguration in der FlowKI-Community.