Ollama, MLX, llama.cpp — welches Setup für welches Budget

Lokale LLMs machen 2026 wieder Sinn. Aber Ollama ist nicht llama.cpp ist nicht MLX. Welches Setup lohnt sich für dein Budget und deine Hardware — ohne Marketing-Gedöns.

16. April 20265 min Lesezeit

FlowKI RedaktionKI-unterstützt

Dieser Beitrag wurde mit KI-Unterstützung aus der angegebenen Quelle erstellt und vor der Veröffentlichung automatisch gegen sie abgeglichen. Nicht jeder Beitrag wird zusätzlich von Hand gelesen — wir prüfen stichprobenweise nach und kennzeichnen Korrekturen. Beruht ein Artikel auf einem selbst durchgeführten Test, weisen wir das ausdrücklich aus.

Warum lokale Modelle 2026 wieder Sinn machen

Ende 2023 sah es aus als wäre das Thema durch. GPT-4 war zu gut, lokal zu schlecht, die Hardware zu teuer. Drei Jahre später sieht die Rechnung anders aus.

Die Modelle sind auf einem Level wo Llama 4 Scout in 4bit-Quantisierung für 80 Prozent der Alltagsaufgaben reicht. Gebrauchte M2-Macs mit 64 GB Unified Memory bekommst du unter 1500 Euro. Und die API-Kosten von Claude oder GPT summieren sich bei Vielnutzung schneller als gedacht.

Wenn du täglich mit KI arbeitest, rechnet sich lokales Setup nach drei bis sechs Monaten.

Die Frage ist nur: welche Lösung für welche Hardware.

Ollama — der einfache Einstieg

Ollama ist der Weg des geringsten Widerstands. Du installierst ein Tool, ziehst ein Modell, startest.

ollama pull llama4:scout
ollama run llama4:scout

Drei Befehle, läuft. Es bringt eine REST-API mit, integriert sich problemlos mit Open WebUI, funktioniert als Backend für Claude Code Skills oder VS Code-Extensions.

Was ich gemessen habe auf dem M3 Max mit Llama 4 Scout (17B in 4bit):

| Metrik | Wert | |---|---| | Tokens pro Sekunde (Inference) | ~42 | | Tokens pro Sekunde (Prompt-Eval) | ~380 | | RAM-Verbrauch | ~11 GB | | Start-Zeit des Modells | ~6s |

Schwäche: Ollama abstrahiert viel. Du kannst nicht einfach exotische Quantisierungen verwenden oder den Prompt-Format-Stack feinjustieren. Für 90 Prozent der User ist das okay. Für den Rest ist es frustrierend.

MLX — wenn du Apple Silicon hast

Apple's MLX-Framework nutzt Unified Memory konsequent aus. Das heißt konkret: Dein GPU teilt sich den RAM mit der CPU, keine Daten müssen kopiert werden. Das macht bei großen Modellen einen spürbaren Unterschied.

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-4-Scout-17B-MLX-4bit --prompt "..."

Die Messung auf demselben M3 Max, gleiches Modell, gleicher Prompt:

| Metrik | Ollama | MLX | |---|---|---| | Inference (Tokens/s) | ~42 | ~58 | | Prompt-Eval (Tokens/s) | ~380 | ~510 | | Start-Zeit | ~6s | ~4s |

Das sind rund 38 Prozent mehr Inference-Speed. Bei intensiver Nutzung über den Tag ist das der Unterschied zwischen "angenehm" und "da tippt jemand live mit".

Schwäche: Nur Apple Silicon. Auf Intel-Macs oder PCs kannst du MLX vergessen — es ist in Metal Performance Shaders verwurzelt.

llama.cpp — die Hardcore-Option

llama.cpp ist die Basis von Ollama und vielen anderen Wrappern. Wenn du es direkt nutzt, hast du jeden Hebel selbst in der Hand.

git clone https://github.com/ggerganov/llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release
./build/bin/llama-server -m model.gguf -ngl 99 -c 8192

Messung auf dem RTX-4090-Rechner mit Llama 4 Scout in Q5_K_M:

| Metrik | Wert | |---|---| | Inference (Tokens/s) | ~74 | | Prompt-Eval (Tokens/s) | ~1200 | | VRAM-Verbrauch | ~14 GB | | Start-Zeit | ~8s |

Die 4090 ist brachial. Wenn du ein produktives Setup für dein Team bauen willst und ein Budget für ordentliche Hardware hast, ist das hier der Weg.

Schwäche: Konfigurations-Fehler tun weh. Falsche Kontext-Größe, unpassende Quantisierung, ungenügendes GPU-Layer-Offloading — und dein Setup ist plötzlich dreimal langsamer oder produziert Gibberish. Plane 4-6 Stunden für das initiale Tuning ein.

Die ehrliche Empfehlung nach Setup

Schluss mit Theorie. Was solltest du nehmen.

| Dein Setup | Empfehlung | Warum | |---|---|---| | MacBook Air M2 16 GB | Ollama mit Llama 3.1 8B oder Qwen 2.5 7B | MLX wäre schneller, lohnt aber Aufwand nicht für kleine Modelle | | MacBook Pro M2/M3 32 GB+ | MLX mit Llama 4 Scout 4bit | Apple-Silicon-Optimierung voll ausnutzen | | M3 Max / M4 Max 64-128 GB | MLX mit Scout oder 70B-Modellen | Großer RAM = große Modelle | | Windows/Linux + RTX 3090+ | llama.cpp mit CUDA | Maximale Kontrolle, beste Performance | | Server-Setup für Team | llama.cpp als Server + Ollama als Proxy | Beste Mischung aus Performance und Einfachheit | | Du willst nur ausprobieren | Ollama | 10 Minuten zum ersten Output |

Welches Modell für welchen Job

Stand April 2026, aus meinen eigenen Tests:

Coding-Aufgaben lokal: Qwen 3 Coder 32B in 4bit ist überraschend nah an Claude Sonnet für reine Code-Generierung
Allgemeine Aufgaben: Llama 4 Scout 17B — schneller als Behemoth, qualitativ sehr solide
Reasoning-intensive Tasks: DeepSeek-R1 — wenn du die längeren Wartezeiten aushältst
Deutsch besonders gut: Mistral Large 3 — deutlich natürlicher als Llama in Umgangssprache

Für die 16-GB-Kategorie ist Qwen 2.5 7B Instruct mein Daily Driver geworden. Es hat weniger Drama als Llama 3.1 8B, verschluckt weniger Umlaute, hält saubere JSON-Outputs.

Was du jetzt tun kannst

Wenn du noch nie lokal gearbeitet hast: Installier Ollama, zieh ein Modell, teste eine Woche parallel zu deinem Cloud-LLM. Du wirst merken wo es dir genügt, wo es dich nervt. Beide Erkenntnisse sind wertvoll.

Wenn du schon lokal arbeitest aber auf Ollama sitzt und Apple Silicon hast: Probier MLX. Der Speed-Gewinn ist real und der Umstellungsaufwand überschaubar.

Weiterlesen

Der Claude-Code-Artikel erklärt wie du lokale Modelle als Backend nutzt. Der MCP-Artikel zeigt wie du deine lokalen Modelle an Tools anschließt.

Welches Setup nutzt du? Diskussion läuft in der Zone "KI Agents & MCPs" im Discord.

Häufige Fragen

Was ist der Unterschied zwischen Ollama, MLX und llama.cpp?

Ollama ist der einfachste Einstieg mit drei Befehlen bis zum laufenden Modell, abstrahiert aber viel und lässt sich bei exotischen Quantisierungen kaum feinjustieren. MLX ist Apples Framework für Apple Silicon und nutzt Unified Memory konsequent aus, läuft aber nur auf Mac-Hardware. Llama.cpp ist die Basis von Ollama und vielen Wrappern und gibt volle Kontrolle über jeden Hebel, verlangt dafür aber sorgfältige manuelle Konfiguration.

Für wen lohnt sich MLX gegenüber Ollama?

Für alle mit einem MacBook Pro M2 oder M3 mit mindestens 32 GB Unified Memory oder größeren M3-Max- und M4-Max-Geräten. In der Messung aus dem Artikel lieferte MLX auf demselben M3 Max rund 38 Prozent mehr Inference-Geschwindigkeit als Ollama mit demselben Modell, dazu eine kürzere Start-Zeit. Auf Intel-Macs oder PCs funktioniert MLX dagegen gar nicht, weil es auf Metal Performance Shaders aufsetzt.

Wie viel schneller ist llama.cpp mit einer RTX 4090 als Ollama auf einem Mac?

In der Messung aus dem Artikel erreichte llama.cpp mit CUDA auf einer RTX 4090 rund 74 Tokens pro Sekunde bei der Inferenz und etwa 1200 Tokens pro Sekunde bei der Prompt-Auswertung, gegenüber rund 42 beziehungsweise 380 Tokens pro Sekunde bei Ollama auf einem M3 Max. Die Werte stammen aus unterschiedlicher Hardware und sind daher nicht direkt vergleichbar, zeigen aber die Größenordnung, die dedizierte GPU-Hardware bringt.

Welches lokale LLM eignet sich am besten für Coding-Aufgaben?

Qwen 3 Coder 32B in 4bit-Quantisierung liegt laut eigenen Tests im Artikel überraschend nah an Claude Sonnet für reine Code-Generierung. Für allgemeine Aufgaben empfiehlt der Artikel stattdessen Llama 4 Scout 17B als schnellere und qualitativ solide Alternative, und für Reasoning-intensive Aufgaben DeepSeek-R1, wenn längere Wartezeiten akzeptabel sind.

Ab welcher Hardware lohnt sich ein lokales LLM gegenüber Cloud-APIs?

Die Modelle sind laut Artikel inzwischen so weit, dass Llama 4 Scout in 4bit-Quantisierung für rund 80 Prozent der Alltagsaufgaben reicht, und gebrauchte M2-Macs mit 64 GB Unified Memory sind bereits unter 1500 Euro erhältlich. Bei täglicher KI-Nutzung rechnet sich ein lokales Setup nach drei bis sechs Monaten gegenüber den laufenden API-Kosten von Cloud-Anbietern wie Claude oder GPT.

Wie installiert man Ollama und startet ein erstes Modell?

Zwei Befehle reichen: ollama pull llama4:scout lädt das Modell herunter, ollama run llama4:scout startet es direkt im Terminal. Ollama bringt außerdem eine REST-API mit, die sich problemlos mit Open WebUI, Claude-Code-Skills oder VS-Code-Erweiterungen verbindet, sodass innerhalb weniger Minuten ein erster nutzbarer Output entsteht.

Welches lokale Modell ist für Deutsch am besten geeignet?

Mistral Large 3 schreibt laut Artikel deutlich natürlicher als Llama in deutscher Umgangssprache. Für kleinere 16-GB-Systeme empfiehlt der Autor stattdessen Qwen 2.5 7B Instruct als Daily Driver, weil es weniger Drama macht als Llama 3.1 8B, weniger Umlaute verschluckt und sauberere JSON-Outputs liefert.