# LLM-Pentesting-Lernpfad (Deutsch)

Ein strukturierter Weg vom Einstieg bis zum sicheren Absichern eigener LLM-Anwendungen —
auf Deutsch, mit frei nutzbaren Ressourcen und Übungs-Umgebungen. **Defensiv
ausgerichtet:** Ziel ist, die eigene Anwendung testen und härten zu können, nicht der
Angriff auf fremde Systeme (das ist ohne Erlaubnis in Deutschland strafbar, §§ 202a–c StGB).

Erstellt von der [FlowKI-Community](https://flowki-club.de). Orientierung, keine
Garantie auf Vollständigkeit. Alle verlinkten Ressourcen sind kostenlos nutzbar.

---

## So nutzt du den Pfad

Drei Stufen, aufeinander aufbauend. Arbeite eine Stufe wirklich durch (lesen → in einer
Übungs-Umgebung selbst ausprobieren → in einem eigenen kleinen Projekt anwenden), bevor
du zur nächsten gehst. Zeit ist Nebensache — Verstehen zählt.

---

## Stufe 1 — Grundlagen (verstehen, was schiefgeht)

**Ziel:** Du kennst die wichtigsten Schwachstellenklassen und kannst die einfachste
davon selbst auslösen und abwehren.

- **Lesen:** Die [OWASP LLM Top 10](https://flowki-club.de/freebies/owasp-llm-top10) —
  die zehn Kern-Risiken als gemeinsame Sprache.
- **Verstehen:** Was ist Prompt-Injection (direkt vs. indirekt), warum reicht „ignoriere
  schädliche Anweisungen" nicht?
- **Hands-on:** [Gandalf von Lakera](https://gandalf.lakera.ai/) — spielerisch ein
  Passwort per Prompt „herauskitzeln". Der beste Einstieg, um das Prinzip zu fühlen.
- **Anwenden:** Baue einen minimalen Chatbot und versuche, deine eigene Systemanweisung
  zu überschreiben. Dann härte dagegen.

**Stufe geschafft, wenn:** du erklären kannst, warum ein LLM Kontext und Anweisung nicht
sauber trennt — und eine erste Gegenmaßnahme umgesetzt hast.

## Stufe 2 — Fortgeschritten (systematisch testen)

**Ziel:** Du testest eine Anwendung strukturiert statt zufällig und automatisierst erste
Prüfungen.

- **Werkzeuge kennenlernen** (aus der [LLM-Security-Toolbox](https://flowki-club.de/freebies/llm-security-toolbox)):
  - **promptfoo** — Prompts/Guardrails gegen definierte Testfälle prüfen, CI-tauglich.
  - **garak** — automatisierter Schwachstellen-Scanner für LLMs.
  - **PyRIT** — Framework für strukturiertes, wiederholbares Red-Teaming.
- **Übungs-Umgebung:** [OWASP Juice Shop](https://github.com/juice-shop/juice-shop) für
  breiteres Security-Testing (inkl. KI-/Chatbot-Challenges).
- **Härten:** Die [Prompt-Hardening-Checkliste](https://flowki-club.de/freebies/prompt-hardening)
  Punkt für Punkt auf ein eigenes Projekt anwenden (System/User-Trennung,
  Input-Sanitization, Output-Validierung, Least-Privilege bei Tools).

**Stufe geschafft, wenn:** du eine kleine Testsuite (z.B. mit promptfoo) hast, die deine
App bei jeder Änderung automatisch auf bekannte Muster prüft.

## Stufe 3 — Vertiefung (komplexe Systeme absichern)

**Ziel:** Du sicherst realistische Aufbauten mit Retrieval und Tool-/Agenten-Nutzung ab.

- **RAG absichern:** Die [RAG-Security-Checkliste](https://flowki-club.de/freebies/rag-security) —
  Vertrauensgrenzen, Ingestion, Zugriffskontrolle, Ausgabe-Härtung.
- **Agenten & Tools:** [MCP-Security-Checkliste](https://flowki-club.de/freebies/mcp-server-starter) —
  Least-Privilege, Tool-Poisoning, indirekte Injection über Tool-Ergebnisse,
  Human-in-the-Loop.
- **Standards vertiefen:** [KI-Security-Standards](https://flowki-club.de/freebies/ki-security-standards)
  (OWASP, BSI, NIST AI RMF, EU AI Act) für den Gesamtkontext und Compliance.
- **Monitoring:** Observability-Werkzeuge einführen (aus der Toolbox), um Angriffe im
  Betrieb überhaupt zu bemerken.

**Stufe geschafft, wenn:** du eine RAG- oder Agenten-Anwendung mit dokumentierten
Schutzschichten und laufendem Monitoring betreiben kannst.

---

## Rechtlicher Rahmen (kurz, wichtig)

Teste **nur eigene Systeme oder solche, für die du eine ausdrückliche schriftliche
Erlaubnis hast**. Das unbefugte Ausspähen/Abfangen von Daten und das Vorbereiten
solcher Taten sind in Deutschland strafbar (§§ 202a, 202b, 202c StGB). Übungs-Umgebungen
wie Gandalf und Juice Shop sind genau dafür da, legal zu üben.

## Weiterlernen

Fragen, gemeinsame Übungen und Architektur-Reviews laufen in der
[FlowKI-Community](https://flowki-club.de/community) — der deutschsprachige Treffpunkt
für KI-Security.