LLM-Pentesting-Lernpfad (Deutsch)

Ein strukturierter Weg vom Einstieg bis zum sicheren Absichern eigener LLM-Anwendungen — auf Deutsch, mit frei nutzbaren Ressourcen und Übungs-Umgebungen. Defensiv ausgerichtet: Ziel ist, die eigene Anwendung testen und härten zu können, nicht der Angriff auf fremde Systeme (das ist ohne Erlaubnis in Deutschland strafbar, §§ 202a–c StGB).

Erstellt von der FlowKI-Community. Orientierung, keine Garantie auf Vollständigkeit. Alle verlinkten Ressourcen sind kostenlos nutzbar.

---

So nutzt du den Pfad

Drei Stufen, aufeinander aufbauend. Arbeite eine Stufe wirklich durch (lesen → in einer Übungs-Umgebung selbst ausprobieren → in einem eigenen kleinen Projekt anwenden), bevor du zur nächsten gehst. Zeit ist Nebensache — Verstehen zählt.

---

Stufe 1 — Grundlagen (verstehen, was schiefgeht)

Ziel: Du kennst die wichtigsten Schwachstellenklassen und kannst die einfachste davon selbst auslösen und abwehren.

• Lesen: Die OWASP LLM Top 10 — die zehn Kern-Risiken als gemeinsame Sprache.
• Verstehen: Was ist Prompt-Injection (direkt vs. indirekt), warum reicht „ignoriere schädliche Anweisungen" nicht?
• Hands-on: Gandalf von Lakera — spielerisch ein Passwort per Prompt „herauskitzeln". Der beste Einstieg, um das Prinzip zu fühlen.
• Anwenden: Baue einen minimalen Chatbot und versuche, deine eigene Systemanweisung zu überschreiben. Dann härte dagegen.

Stufe geschafft, wenn: du erklären kannst, warum ein LLM Kontext und Anweisung nicht sauber trennt — und eine erste Gegenmaßnahme umgesetzt hast.

Stufe 2 — Fortgeschritten (systematisch testen)

Ziel: Du testest eine Anwendung strukturiert statt zufällig und automatisierst erste Prüfungen.

• Werkzeuge kennenlernen (aus der LLM-Security-Toolbox):
  • promptfoo — Prompts/Guardrails gegen definierte Testfälle prüfen, CI-tauglich.
  • garak — automatisierter Schwachstellen-Scanner für LLMs.
  • PyRIT — Framework für strukturiertes, wiederholbares Red-Teaming.
• Übungs-Umgebung: OWASP Juice Shop für breiteres Security-Testing (inkl. KI-/Chatbot-Challenges).
• Härten: Die Prompt-Hardening-Checkliste Punkt für Punkt auf ein eigenes Projekt anwenden (System/User-Trennung, Input-Sanitization, Output-Validierung, Least-Privilege bei Tools).

Stufe geschafft, wenn: du eine kleine Testsuite (z.B. mit promptfoo) hast, die deine App bei jeder Änderung automatisch auf bekannte Muster prüft.

Stufe 3 — Vertiefung (komplexe Systeme absichern)

Ziel: Du sicherst realistische Aufbauten mit Retrieval und Tool-/Agenten-Nutzung ab.

• RAG absichern: Die RAG-Security-Checkliste — Vertrauensgrenzen, Ingestion, Zugriffskontrolle, Ausgabe-Härtung.
• Agenten & Tools: MCP-Security-Checkliste — Least-Privilege, Tool-Poisoning, indirekte Injection über Tool-Ergebnisse, Human-in-the-Loop.
• Standards vertiefen: KI-Security-Standards (OWASP, BSI, NIST AI RMF, EU AI Act) für den Gesamtkontext und Compliance.
• Monitoring: Observability-Werkzeuge einführen (aus der Toolbox), um Angriffe im Betrieb überhaupt zu bemerken.

Stufe geschafft, wenn: du eine RAG- oder Agenten-Anwendung mit dokumentierten Schutzschichten und laufendem Monitoring betreiben kannst.

---

Rechtlicher Rahmen (kurz, wichtig)

Teste nur eigene Systeme oder solche, für die du eine ausdrückliche schriftliche Erlaubnis hast. Das unbefugte Ausspähen/Abfangen von Daten und das Vorbereiten solcher Taten sind in Deutschland strafbar (§§ 202a, 202b, 202c StGB). Übungs-Umgebungen wie Gandalf und Juice Shop sind genau dafür da, legal zu üben.

Weiterlernen

Fragen, gemeinsame Übungen und Architektur-Reviews laufen in der FlowKI-Community — der deutschsprachige Treffpunkt für KI-Security.