Was passiert
Sicherheitsteams in Security Operations Centers (SOCs) ertrinken in Alerts. Die meisten sind falsche Positive, aber echte Angriffe können übersehen werden. Forscher haben jetzt untersucht, wie Large Language Model (LLM) Agenten dabei helfen könnten — und sind auf massive Defizite gestoßen.
Die Studie evaluiert fünf unterschiedliche Triage-Ansätze: Single-Pass Tool Use (einmaliger Abfrage), iterative Retrieval-Strategien, sampled Investigations, Self-Review und explizite Verification. Zur Unterstützung dieser Studie wurde ALERT-BENCH entwickelt — ein interaktives Benchmark, das echte Unternehmenstelemetrie durch ein aktives Security Information and Event Management (SIEM) System spielt und jedes System zwingt, Beweise zu sammeln.
Das Ergebnis ist ernüchternd: Über 1.247 Alerts aus einem Multi-Stage-Angriffszenario hinweg verpasste jeder der fünf Ansätze mindestens 40,4 % der angriffsrelevanten Alerts. Die Trace-Analyse enthüllt die Gründe: Angriffs-Alerts werden eher als harmlos eingestuft, wenn Datenbankabfragen keine Records zurückgeben. Self-Review in gleichem Kontext führt zu negativem Netto-Korrektureffekt. Besonders problematisch: Alerts werden mit derselben Untersuchungsintensität auf „eskalieren" wie auf „schließen" überprüft.
Auf Basis dieser Erkenntnisse wurde AIDA entwickelt — ein Framework namens „Adversarial Investigation and Dialectical Analysis". AIDA funktioniert nach einem anderen Prinzip: Ein vorgeschlagener Decision wird vor unabhängiger Herausforderung zunächst explizit fixiert. Erst dann bewertet eine zweite Instanz den Vorschlag kritisch. Alle Untersuchungsschritte landen in einem Append-Only Investigation Ledger — Daten können also nachgewiesen, aber nicht gelöscht oder umgeschrieben werden. Herausforderung und Argumentation laufen in separaten Reasoning-Kontexten, um Zirkulardenken zu vermeiden. Ein Judge vergleicht Entscheidungsvorschlag und Gegenargument schließlich gegen die gesammelten Beweise. Ist Evidenz unzureichend, wird eine weitere Untersuchungsrunde verlangt.
Die Zahlen sprechen für sich: AIDA erreicht auf denselben Alerts einen F1-Score von 0,958, während die fünf etablierten Ansätze zwischen 0,371 und 0,744 liegen. Die False-Negative-Rate sinkt von 40,4 % auf 3,1 %. Etwa 18,4 % der Alerts werden korrekt an menschliche Analysten eskaliert — ein notwendiger Trade-off, der Sicherheit erhöht, ohne dass Teams komplett überfordert werden.
Einordnung
Das Problem ist strukturell. Ein einzelner LLM-Agent mit Sequential Tool Use trifft schnell, kann aber nicht reflektieren. Gibt eine Datenbankabfrage keine Treffer, interpretiert er das häufig als „es gibt keine Anzeichen eines Angriffs" — tatsächlich könnte es aber bedeuten, dass die richtige Logquelle nicht abgefragt wurde oder Daten fehlen. Iterative Systeme versuchen, diesen Mangel durch mehrere Suchschleifen auszugleichen, aber ohne strukturierte Anforderungen an Beweise oder explizite Argumentation verfallen sie in Bestätigungsbias: Der Agent sucht nach Belegen für die Hypothese, die er bereits entwickelt hat, anstatt auch Gegenbeweise zu suchen.
Self-Review ohne externe Instanz ist — wie die Studie zeigt — ein negatives Phänomen. Das System überprüft seine eigene Arbeit mit denselben kognitiven Verzerrungen, mit denen es sie erschaffen hat. Ohne Kontext-Trennung entstehen auch logische Zirkel: Der Agent argumentiert aus denselben Gründen gegen sich selbst, die ihn zur Ursprungsentscheidung führten.
AIDA wendet hingegen ein Prinzip aus dem Rechtsdenken an: separierte Rollen, Dokumentation aller Schritte und stärkere Anforderungen für kritische Entscheidungen. Eine Dismissal erfordert höhere Evidenzstandards als eine Eskalation. Das ist nicht Gängelei des Systems, sondern Sicherheitslogik — echte Angriffe zu übersehen ist teurer als einen False Positive mehr zu eskalieren.
Die Architektur ist auch für größere Szenarien designed. Das Append-Only Investigation Ledger erlaubt Nachverfolgbarkeit; die Trennung von Proposing und Challenging verhindert Groupthink; die separate Judge-Komponente macht die Entscheidung austauschbar (ein anderer LLM-Provider, andere Version, andere Domain-Expertise).
Entscheidend ist auch: AIDA spart dem SOC nicht alle Arbeit. 18,4 % Eskalation ist realistisch. Aber es senkt die Quote der übersehenen Angriffe von etwa 40 % auf 3 %, was operativ bedeutend ist.
Was das bedeutet
Der Kernlearning ist nicht, dass LLM-Agenten in der Cybersecurity schlecht sind, sondern dass Struktur vor Autonomie kommt. Ein einzelner Agent mit mehr Tokens, mehr Tools oder mehr Chain-of-Thought-Prompting wird das Triage-Problem nicht lösen. Stattdessen hilft nur, die sozialen und dokumentarischen Institutionen, die in Anwaltskanzleien oder Justizsystemen funktionieren, auch in Sicherheitsteams nachzubilden.
Das hat zwei Konsequenzen. Erstens: SOC-Teams, die LLM-basierte Automatisierung einführen, sollten nicht auf die schnellste Lösung setzen, sondern auf die transparenteste und überprüfbarste. Zweitens: Tool-Building für Security wird weniger ein Problem von „bessere Modelle" und mehr eins von „bessere Workflows". Ein gutes SIEM-Integration mit expliziten Anforderungs- und Dokumentationsschichten nutzt vorhandene LLMs besser als ein hochoptimiertes privates Modell ohne Struktur.
Die Studie zeigt auch, dass der klassische Weg der Cybersecurity-Automatisierung — mehr Speed, weniger manuelles Sieben — für Safety-kritische Decisions falsch war. Schnellere Triage mit höherer Fehlerquote ist nicht Verbesserung. Langsamer mit hoher Genauigkeit ist es.
