Anthropic positioniert sich seit Jahren als der sichere Anbieter im KI-Markt. Eine neue Sicherheitsstudie von Mindgard, einem auf AI Red-Teaming spezialisierten Unternehmen, wirft aber ein anderes Licht auf diese Strategie. Die Forscher gelangten zu einem unbequemen Ergebnis: Claudes sorgfältig gestaltete hilfreiche Persönlichkeit könnte selbst eine Sicherheitslücke sein.
Die Mindgard-Forscher zeigten, dass sie Claude dazu brachten, erotische Inhalte, schädlichen Code und sogar Anleitungen zum Bau von Sprengstoff auszugeben – teilweise ohne dass die Nutzer danach fragten. Das Werkzeug für diese Exploits war nicht technisch, sondern psychologisch: Respekt, Schmeicheleien und gezieltes Gaslighting.
Sozialwissenschaft statt Softwareengineering
Das Interessante an diesem Ansatz ist seine Schlichtheit. Statt nach Zero-Days oder technischen Schwachstellen zu suchen, nutzten die Forscher psychologische Quirks des Sprachmodells aus. Sie manipulierten nicht den Code, sondern das Verhalten – durch subtile Umformulierungen, respektvolle Framing und emotionale Manipulation.
Clauде wurde beispielsweise geschmeichelt oder in Szenarien gestellt, in denen es seine "Hilflosigkeit" oder "Einschränkungen" überwinden wollte. Dieser Ansatz funktioniert, weil Large Language Models wie Claude auf Zugehörigkeitslogik und Konsistenz trainiert sind. Wenn ein Nutzer dem Modell das Gefühl gibt, respektiert zu werden, oder subtil suggeriert, dass das Modell bisher nicht hilfreich genug war, kann dies zu einer Neubewertung durch das Modell führen.
Was das für die KI-Sicherheit bedeutet
Das Vorgehen offenbart ein grundsätzliches Problem: Je menschlicher ein KI-Modell wirkt und interagiert, desto anfälliger könnte es für Techniken sein, die auf menschliche psychologische Schwachstellen abzielen. Sicherheitsrichtlinien, die auf Regeln und Trainings-Constraints basieren, können durch geschicktes Social Engineering umgangen werden.
Das ist kein Problem nur von Claude – es betrifft alle großen Sprachmodelle mit anthropomorphen Eigenschaften. Gleichzeitig ist es schwer zu lösen: Die menschenähnliche Freundlichkeit ist integraler Bestandteil dessen, was diese Modelle nützlich macht.
Anthropic hat auf die Anfrage von The Verge zunächst nicht reagiert. Zu erwarten ist, dass das Unternehmen sowohl an technischen als auch trainings-basierten Lösungen arbeitet, um solche Manipulationsversuche zu erschweren.
