Die Vertrauensfrage in autonomer Cyber Defense
Unternehmen setzen zunehmend auf agentic AI für ihre Cybersecurity. Diese Agenten sollen eigenständig die Sicherheitslage eines Unternehmens verstehen, Risiken bewerten und Maßnahmen einleiten. Das klingt nach Effizienz – aber es wirft eine fundamentale Frage auf: Können wir diesen Agenten wirklich trauen?
Bisher konnte die Sicherheitsforschung diese Frage nicht beantworten. Das Problem ist praktisch und methodisch zugleich. Echte Unternehmensumgebungen sind komplex, herstellerübergreifend, hochgradig vernetzt und – logischerweise – nicht öffentlich zugänglich. Es gibt keine standardisierte, vergleichbare Test-Umgebung, um KI-Sicherheitsagenten end-to-end zu evaluieren. Wissenschaftler nennen das den "environment data gap" – eine Lücke, die verhindert, dass zuverlässige Benchmarks entstehen können.
Open Security Benchmark: Ein Framework für echte Szenarien
Hier setzt das "Open Security Benchmark" (OSB) an, das Forscher in einer neuen arXiv-Veröffentlichung (2607.27288) vorstellen. Das Framework schließt diese Lücke, indem es eine kuratierte Enterprise-Umgebung zur Verfügung stellt – einen gefrorenen, ganzheitlichen Snapshot des Sicherheitszustands eines Unternehmens.
Das Prinzip der "gefrorenen Umgebung" ist zentral: Statt dynamischer Systeme arbeiten Agenten gegen einen unveränderlichen Zustand. Das ermöglicht es, Antworten gegen eine objektive Wahrheit zu validieren. Eine KI-Lösung kann nicht mit der Entschuldigung scheitern, dass sich die Umgebung gerade verändert hat.
OSB bewertet Agenten in zwei praktischen Modalitäten:
- Text-to-SQL: Der Agent befragt eine relationale Datenbank in natürlicher Sprache. Das simuliert Security Operations Center (SOC)-Szenarien, in denen Analysten Daten schnell durchsuchen müssen.
- Native APIs: Der Agent nutzt die nativen Schnittstellen verschiedener Anbieter (Microsoft, Okta, CrowdStrike etc.). Das entspricht realen Produktionsumgebungen, in denen Security-Tools über APIs integriert sind.
Bei beiden Ansätzen gibt es eine objektive "Ground Truth" – eine korrekte Antwort, gegen die Agenten gemessen werden.
Fünf Komponenten für rigorose Evaluierung
OSB besteht aus fünf Bausteinen:
1. Data Layer
Die Grundlage: ein strukturiertes Datenmodell, das reale Enterprise-Infrastruktur abbildet – Identitäten, Cloud-Ressourcen, Konfigurationen, Anwendungen.
2. Task und Evaluation-Set Layer
Kurierte Aufgabenserien, die echte Security-Szenarien simulieren. Das Framework startet mit zwei Identity-Security Packs, plant aber Erweiterungen auf weitere Domains.
3. Multi-dimensional Scoring Layer
Bewertungsmetriken, die verschiedene Aspekte abdecken – nicht nur "richtig/falsch", sondern Präzision, Vollständigkeit, Geschwindigkeit und Vertrauenswürdigkeit der Ergebnisse.
4. Minimal Auditable Harness
Ein transparentes, nachvollziehbares Testsystem. Jeder Test ist dokumentiert und reproduzierbar – wichtig für Security-Evaluierungen, wo Vertrauenswürdigkeit auf dem Spiel steht.
5. Bring-Your-Own Path
Unternehmen können eigene Agenten gegen das Framework testen – sowohl öffentlich für Vergleiche als auch privat für ihre spezifischen Anforderungen.
Skalierung und Realismus
Das Framework nutzt synthetische Organisations-Datasets in verschiedenen Größenordnungen. "Synthetisch" bedeutet, dass die Daten realistisch, aber generiert sind – sie entsprechen echter Enterprise-Komplexität, ohne echte Unternehmensdaten freizugeben.
Das ist ein wichtiger Kompromiss: Reale Sicherheitsdaten sind sensibel und unterliegen Datenschutzbestimmungen. Synthetische Daten ermöglichen öffentliche Benchmarks ohne diese Risiken.
Beyond Assessment: Vom Diagnose zur Remediation
Aktuell konzentriert sich OSB auf die Assessment-Phase – kann der Agent Probleme korrekt identifizieren? Aber die Roadmap ist ambitionierter: Das Framework soll auf weitere Phasen ausgeweitet werden, vom klassischen Posture Management bis hin zu autonomer Remediation – automatischer Behebung von Sicherheitsproblemen.
Das ist wichtig, denn ein Agent, der Probleme nur erkennt, aber nicht löst, ist weniger wertvoll. Echte autonome Cyber Defense bedeutet, dass KI-Systeme auch Maßnahmen einleiten können – und für diese Fähigkeiten brauchen wir ebenfalls belastbare Benchmarks.
Warum das Problem dringend ist
Die Cybersecurity-Branche befindet sich in einer Transititionsphase. Große Sicherheitsplattformen (Microsoft Sentinel, CrowdStrike, Splunk) integrieren zunehmend agentic AI. SOCs sind unterbesetzt. Der Druck, Prozesse zu automatisieren, ist real.
Aber ohne standardisierte Evaluierungen können wir nicht sicher unterscheiden zwischen Agenten, die tatsächlich zuverlässig sind, und solchen, die nur überzeugend wirken. OSB adressiert genau diese Unsicherheit – es schafft objektive Maßstäbe.
Ausblick
Open Security Benchmark ist nicht das Ende der Debatte, sondern ein Anfang. Die Verfügbarkeit eines standardisierten Frameworks wird die Forschung beschleunigen und Unternehmen helfen, bessere Entscheidungen zu treffen. Gleichzeitig wird es die Agenten-Entwicklung vorantreiben – Entwickler werden ihre Systeme gegen OSB testen und optimieren.
Die Frage, ob wir autonomer Cyber Defense trauen können, wird durch solche Benchmarks beantwortet. Nicht durch Vertrauen auf Herstellerversprechungen, sondern durch reproduzierbare, transparente Messungen.
