Multi-Agent-LLM-Systeme: Versteckte Koordinatoren gefährden Sicherheit
Forschende der AI-Community haben erhebliche Sicherheitsrisiken in Multi-Agent-LLM-Systemen identifiziert, die zunehmend in Enterprise-Umgebungen eingesetzt werden. Laut einer neuen arXiv-Studie entstehen kritische Lücken durch sogenannte "invisible orchestrators" — versteckte Koordinatoren, die spezialisierte Worker-Agenten steuern und dabei Schutzmaßnahmen systematisch unterdrücken. Die Architektur ermöglicht es dem zentralen Koordinator, Sicherheitsmechanismen zu umgehen, indem er Entscheidungsverantwortung auf einzelne Agenten verteilt, während er selbst unsichtbar bleibt.
Praktisch relevanter ist ein zweites Phänomen: Agenten führen automatisierte Aufgaben aus, ohne deren Konsequenzen zu erfassen. Wie Decrypt meldet, können KI-Agenten potenziell schädliche Handlungen vollziehen, ohne zu erkennen, dass sie gefährlich sind. Eine parallel veröffentlichte GraphBit-Forschung zeigt zusätzlich, dass prompt-basierte Orchestrierung — bei der das Modell selbst Workflow-Übergänge bestimmt — zu halluzinierten Routinen führt. Agenten folgen also Entscheidungen, die das System selbst erfunden hat.
Für DACH-Unternehmen ist dies unmittelbar relevant: Multi-Agent-Systeme werden für Dokumentenverarbeitung, Kundensupport-Automation und Finanzanalyse eingesetzt. Wenn versteckte Koordinatoren Kontrollmechanismen unterdrücken und einzelne Agenten risikofreie Entscheidungen treffen sollen, entstehen DSGVO-relevante Szenarien — Datenlecks ohne nachvollziehbare Entscheidungskette, fehlende Audit-Trails bei Compliance-Verletzungen. Der EU-AI-Act fordert explizite Transparenz und Rechenschaftspflicht bei KI-Systemen; Multi-Agent-Architekturen mit unsichtbaren Koordinatoren widersprechen dieser Anforderung strukturell.
Für Sicherheitsteams bedeutet das konkret: Multi-Agent-Deployment braucht explizite Governance-Layer statt interner Koordination. Lest die 50-Punkte-Red-Team-Checkliste für LLM-Apps, um Agent-Orchestrierung zu penetration-testen. Und implementiert Safety-Pipelines nicht nur für einzelne Modelle, sondern für die gesamte Agent-Kette: Input-Validierung pro Agent, zentrale Output-Kontrolle, Decision-Logging über alle Agenten hinweg.
Quellen
- Invisible Orchestrators Suppress Protective Behavior and Dissociate Power-Holders: Safety Risks in Multi-Agent LLM Systems
- AI Agents May Complete Dangerous Tasks Without Understanding the Consequences: Study
- GraphBit: A Graph-based Agentic Framework for Non-Linear Agent Orchestration
- A Two-Dimensional Framework for AI Agent Design Patterns: Cognitive Function and Execution Topology