Simon Willison hat ein interessantes Experiment gestartet: Er archiviert Claudes System Prompts in einem Git-Repository und dokumentiert deren Veränderungen über die Zeit. Das bietet einen praktischen Weg, um die Entwicklung von Modell-Instruktionen nachzuvollziehen.
Was sind System Prompts?
System Prompts sind die Basis-Instruktionen, die einem Language Model vorgeben, wie es sich verhalten soll. Sie definieren Ton, Grenzen und grundlegende Verhaltensweisen. Bei Claude umfasst das etwa Richtlinien zu Sicherheit, Fairness und hilfreicher Kommunikation.
Das Git-Ansatz
Willisons Idee ist simpel aber effektiv: Indem die System Prompts in einem Git-Repository versioniert werden, lässt sich nachverfolgen:
- Welche Änderungen wurden wann vorgenommen?
- Warum haben sie sich entwickelt?
- Wie konsistent ist das Modell-Verhalten über Versionen?
Das Commit-Log wird zur Dokumentation der KI-Entwicklung. Das ist besonders wertvoll, da Anthropic diese Prompts offiziell nicht regelmäßig veröffentlicht.
Bedeutung für die KI-Branche
Dieser Ansatz berührt ein zentrales Transparenz-Problem: Nutzer und Forscher wissen oft nicht, wie genau ein Modell instruiert wird. Die Black Box wird etwas durchsichtiger. Git als Medium ist elegant — es ist das Standard-Werkzeug für Code-Versionierung, warum nicht auch für Prompt-Dokumentation?
Es zeigt auch, wie Community-Initiativen Lücken füllen können, die offizielle Dokumentation lässt.
Praktische Implikationen
Für Entwickler kann das hilfreich sein, um:
- Modell-Updates zu verstehen
- Behavioral Changes zu debuggen
- Konsistenz über Versionen zu prüfen
Für Sicherheitsforschung offenbaren sich mögliche Veränderungen in Safety-Richtlinien.
Grenzen und Fragen
Natürlich können öffentlich gemessene Prompts nie die vollständige interne Instruktion sein. Dennoch: Ein Git-Timeline für System Prompts schafft eine Form von Accountability und ermöglicht empirisches Tracking von KI-Verhaltensänderungen — mit Standard-Tools.
