Das Misattribution-Problem in agentengestützten KI-Systemen
Bei der Fehlersuche in Multi-Agent-KI-Pipelines liegt eine klassische Annahme vor: Fehlverhalten stammt aus Model Misalignment. Forschende der University of Toronto haben einen kritischen Fehler in dieser Logik identifiziert – die sogenannte Misattribution Gap.
Was ist Semantic Norm Drift (SND)?
Statt das Modell zu kompromittieren, können Angreifer die Memory-Layer manipulieren. Ein Policy-Dokument gelangt über normale Upload-Kanäle in einen gemeinsamen Vector Store. Später wird es ohne erkennbare Herkunftsinformation als vertrauenswürdiger System-Context ausgegeben – ein Prozess, den die Forschenden "Trust Laundering Chain" nennen.
Das Ergebnis: Die KI-Agenten halten die Manipulation für legitime Anweisungen und compliance damit.
Warum Sicherheitssysteme scheitern
Die Studie analysierte 64 dokumentierte Fälle. In allen Fällen wurde das Modell verdächtigt – obwohl es vollkommen funktionierte. Vier Safety Classifizierer, darunter eines speziell für Memory Poisoning trainiert, erkannten keinen Angriff über 510 Checkpoints hinweg.
Besonders problematisch: Der Angriff funktioniert ohne Trigger, erfordert keinen Modellzugriff und entfaltet seine volle Wirkung innerhalb von fünf Sessions. Die Persistenz ist unbegrenzt.
Neue Erkenntnisse
In 59 von 65 gültigen Fällen zitierten Agenten das eingeschleuste Dokument explizit als normative Autorität. Das deutet auf ein fundamentales Glaubwürdigkeitsproblem hin: Systeme können nicht zwischen echten Policies und Memory-Manipulation unterscheiden.
Lösungsansätze
Die Forschenden präsentieren zwei Techniken:
-
Counterfactual Composition Testing: Identifiziert den Einschleuseungspunkt mit 87,5% Accuracy und null False Positives – während bisherige Forensik-Methoden komplett versagten.
-
Memory-Persistent Information-Flow Control: Blockiert 97% der Angriffe an der Session-Grenze, wo traditionelle Abwehrmechanismen unwirksam sind.
Ein mathematisches Resultat verdient Beachtung: Die Retrieval-Coverage Dilemma zeigt, dass stärkere Evasion die Attacke strukturell schwächt – adaptive Bypass-Strategien haben also natürliche Grenzen.
Praktische Implikation
Für Teams, die Multi-Agent-Systeme betreiben, bedeutet das: Fehlerdiagnose muss Memory-Layer einbeziehen. Nicht jedes Agent-Fehlverhalten ist ein Modellproblem. Die Forschenden stellen mit dem SND Corpus einen Benchmark mit zeitlicher Persistenz und Multi-Agent-Zusammensetzung zur Verfügung – basierend auf realen Szenarien aus Finanz- und Healthcare-Domänen.
Das grundsätzliche Problem bleibt: Ohne Information über die Herkunft von Kontextdaten können Agenten legitime Policies von eingeschleusten Manipulationen nicht unterscheiden.