# Ollama Setup — dein erstes lokales KI-Modell (Deutsch)

Ein KI-Modell auf dem eigenen Rechner laufen lassen — ohne Cloud, ohne Anmeldung, ohne dass
Daten das Gerät verlassen: Das ist der stärkste Datenschutz-Hebel, den es gibt. **Ollama**
ist der einfachste Weg dorthin. Diese Anleitung führt dich von der Installation bis zum
ersten Chat, für Windows, macOS und Linux.

Erstellt von der [FlowKI-Community](https://flowki-club.de). Die Befehle sind stabil; die
konkreten Modell-Namen/-Größen ändern sich — die neueste Liste steht immer auf der
offiziellen Modell-Seite von Ollama.

---

## Was du brauchst

- Einen halbwegs aktuellen Rechner. Für kleine Modelle (1–3 Mrd. Parameter) reicht oft schon
  eine CPU mit 8 GB RAM; für flüssige größere Modelle hilft eine Grafikkarte mit genug
  Speicher.
- Rund 15 Minuten und ein paar GB freien Speicherplatz pro Modell.
- Hintergrundwissen zu Modellgrößen/Quantisierung: siehe
  [Quantisierung Q4/Q5/Q8](/freebies/quantisierung).

## Schritt 1 — Ollama installieren

- **Windows:** Installer von [ollama.com/download](https://ollama.com/download) laden und
  ausführen. Ollama läuft danach als Hintergrunddienst.
- **macOS:** ebenfalls über [ollama.com/download](https://ollama.com/download) (App laden,
  in den Programme-Ordner ziehen).
- **Linux:** im Terminal:

```bash
curl -fsSL https://ollama.com/install.sh | sh
```

## Schritt 2 — Installation prüfen

Öffne ein Terminal (Windows: PowerShell) und tippe:

```bash
ollama --version
```

Erscheint eine Versionsnummer, läuft alles.

## Schritt 3 — Ein Modell laden und starten

Ein Modell ziehen und direkt chatten (Beispiel mit einem kleinen Modell):

```bash
ollama run llama3.2
```

Beim ersten Aufruf lädt Ollama das Modell herunter, danach startet direkt der Chat. Tippe
deine Frage, `Strg + D` (bzw. `/bye`) beendet den Chat.

> **Tipp:** Fang klein an. Ein 1–3B-Modell startet auf fast jeder Hardware. Läuft es flüssig,
> probierst du ein größeres. Welche Größe/Quantisierung passt, klärt das
> [Quantisierungs-Cheat-Sheet](/freebies/quantisierung).

## Schritt 4 — Nützliche Befehle

| Befehl | Wirkung |
|---|---|
| `ollama list` | zeigt installierte Modelle |
| `ollama pull [modell]` | lädt ein Modell, ohne zu starten |
| `ollama run [modell]` | startet einen Chat |
| `ollama rm [modell]` | löscht ein Modell (Speicher frei) |
| `ollama ps` | zeigt laufende Modelle |
| `/bye` | beendet den aktuellen Chat |

## Schritt 5 — Modell in eigenen Programmen nutzen (optional)

Ollama stellt eine lokale Schnittstelle bereit (standardmäßig auf Port 11434). So kannst du
per einfachem Aufruf antworten lassen:

```bash
curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Erklär mir in einem Satz, was Ollama ist.",
  "stream": false
}'
```

Damit lässt sich ein lokales Modell in eigene Skripte oder Tools einbinden — komplett
offline.

## Häufige Stolpersteine

1. **Modell zu groß.** Bricht das Laden ab oder wird es extrem langsam, ist zu wenig
   Speicher (RAM/VRAM) da → kleineres Modell oder stärkere Quantisierung wählen.
2. **„Command not found" nach der Installation.** Terminal neu öffnen; unter Windows kurz
   ab- und anmelden, damit der Pfad aktiv wird.
3. **GPU wird nicht genutzt.** Aktuelle Grafiktreiber installieren; Ollama nutzt die GPU
   automatisch, wenn sie erkannt wird — sonst läuft es (langsamer) auf der CPU.
4. **Speicher voll.** Modelle sind groß. Mit `ollama list` prüfen und Ungenutztes per
   `ollama rm` entfernen.

## Warum lokal?

Deine Eingaben verlassen den Rechner nicht — ideal für sensible Inhalte und ein starker
DSGVO-Hebel. Der Nachteil: lokale Modelle sind kleiner als die großen Cloud-Modelle, also
nicht immer so stark. Für viele Aufgaben (Zusammenfassen, Umformulieren, Entwürfe) reichen
sie aber gut.

Welche Modelle laufen bei dir am besten? Teile deine Konfiguration in der
[FlowKI-Community](https://flowki-club.de).