Was passiert
Forscherteams verlassen sich zunehmend auf automatisierte Evaluatoren, um zu messen, ob Jailbreak-Angriffe auf große Sprachmodelle erfolgreich waren. Doch eine neue Studie zeigt ein systematisches Problem: Es gibt mindestens sechs verschiedene Evaluatoren im Einsatz — HarmBench, JailbreakBench, JailbreakRadar, StrongReject, JADES und JailMeter — und sie liefern nicht konsistent die gleichen Ergebnisse.
Die Studie, veröffentlicht auf arXiv (cs.CR, 2609.10594), ist nach Aussage der Autoren die erste ihrer Art: Alle sechs Evaluatoren wurden auf identischen, von Menschen bewerteten Datensätzen getestet — nämlich JailbreakQR und JailMeter-Eva. Das ist wichtig, weil bisherige Jailbreak-Forschung jeden Evaluator isoliert validiert hat. Das führt zu verschwendeten Ressourcen und macht es schwer, Ergebnisse zwischen verschiedenen Paper zu vergleichen.
Die zentrale Erkenntnis: Unterschiedliche Evaluatoren kodieren unterschiedliche Definitionen von Jailbreak-Erfolg. Das bedeutet konkret, dass ein Angriff bei Verwendung von Evaluator A als erfolgreich eingestuft wird, bei Evaluator B aber möglicherweise nicht. Dadurch entsteht eine verzerrte Wahrnehmung von Angriffseffektivität und vermeintlichem Fortschritt in der Sicherheitsforschung.
Bei der Bewertung wurden zwei Strategien verfolgt: Manche Evaluatoren arbeiten mit eigenständigen Systemen, andere nutzen ein allgemeines LLM als Richter. Um Modell-spezifische Unterschiede herauszufiltern, verwendeten die Forscher ein gemeinsames Backbone-Modell für alle LLM-basierten Evaluatoren.
Die Ergebnisse zeigen differenzierte Leistungsunterschiede. JADES schnitt insgesamt am besten ab, während HarmBench und StrongReject ebenfalls gute Ergebnisse demonstrierten. Gemessen wurde anhand von Übereinstimmung mit menschlichen Urteilen, Fehlertypen und Konsistenz über verschiedene Angriffsklassen hinweg. Damit liegt erstmals eine empirische Grundlage vor, welcher Evaluator für welche Forschungsfrage am geeignetsten ist.
Einordnung
Jailbreaks auf LLM sind ein kritisches Sicherheitsthema. Ein Jailbreak ist ein Angriff, der ein Sprachmodell dazu bringt, Inhalte zu produzieren, die eigentlich durch Sicherheitsrichtlinien unterbunden sein sollten — etwa illegale Anweisungen oder Missbrauchsinhalte. Um solche Angriffe zu quantifizieren und Abwehrmaßnahmen zu testen, braucht es Messinstrumente.
Experten, die manuell jeden Jailbreak-Versuch bewerten, sind teuer und lassen sich nicht skalieren. Deshalb hat sich die Forschungscommunity auf automatisierte Evaluatoren geeinigt. Die Ironie: Während die Gemeinschaft ein Konsistenzproblem bei LLM-Ausgaben lösen wollte, hat sie ein neues Konsistenzproblem geschaffen — bei der Messung der Sicherheit selbst.
Dieser Evaluator-Zoo ist historisch gewachsen. Verschiedene Arbeitsgruppen entwickelten jeweils eigene Tools, oft mit leicht unterschiedlichen Ansätzen: Manche verwenden regelbasierte Klassifikatoren, andere nutzen LLM-basierte Urteile. Jeder Ansatz hat Vor- und Nachteile. Eine regelbasierte Methode ist transparent und reproduzierbar, aber möglicherweise zu starr. Ein LLM-Richter ist flexibler, aber anfällig für die Biases des zugrunde liegenden Modells.
Die Vorgeschichte ist auch akademisch-strukturell bedingt: Jedes neue Jailbreak-Paper validierte seinen Evaluator neu statt auf Standards zu einigen. Das führte zu einer fragmentierten Forschungslandschaft. Ergebnisse von 2023 lassen sich schwer mit denen von 2024 vergleichen, wenn unterschiedliche Messstäbe gelten. Die neue Studie adressiert genau diesen Mangel und bietet die erste standardisierte Vergleichsbasis.
Besonders relevant ist, dass automatisierte Evaluatoren nicht nur für die Sicherheitsforschung verwendet werden, sondern zunehmend auch in Produktionsumgebungen — etwa bei Red-Teaming von neuen Modellen vor Release. Wenn die Messinstrumente nicht robust sind, können fehlerhafte Sicherheitsschlussfolgerungen in den Deployment gehen.
Was das bedeutet
Die zentrale Konsequenz ist simpel, aber weitreichend: Reproduzierbarkeit und Vergleichbarkeit von Jailbreak-Forschung hängen stark davon ab, welcher Evaluator gewählt wird. Das ist unbefriedigend für wissenschaftliche Standards. Künftig sollten Jailbreak-Studien nicht nur eine zufällige Wahl treffen, sondern bewusst begründen, warum gerade dieser Evaluator — und idealerweise: mehrere parallel.
Die Befunde legen nahe, dass JADES für künftige Arbeiten ein sicherer Standard sein könnte, da es empirisch am besten abschnitt. Aber das setzt nicht einfach alle anderen außer Kraft — JADES könnte schlecht auf neue Angriffstypen verallgemeinern, die es in dieser Studie nicht gab. Stattdessen sollte die Community über geteilte Evaluations-Standards nachdenken: Eine Art Jailbreak-Evaluator-Referenzimplementierung, die alle Arbeiten nutzen, plus zusätzliche spezialisierte Tools für bestimmte Fragestellungen.
Bis das passiert, bleibt eines gültig: Skeptizismus gegenüber Jailbreak-Angriffsquoten ist berechtigt. Nicht weil die Angriffe selbst fragwürdig sind, sondern weil die Messung instabil ist.
