FLOWKI · NEWSROOM
Agentic KI: Kontextlecks und Delegationsfallen gefährden sensible Daten
ki-pentesting

Agentic KI: Kontextlecks und Delegationsfallen gefährden sensible Daten

ki-pentesting6 unabhängige QuellenFlowKI Newsroom

Was passiert: Systematische Sicherheitslücken in autonomen KI-Agenten

Mehrere zeitgleich veröffentlichte Forschungsarbeiten offenbaren grundlegende Sicherheitsprobleme in agentic AI-Systemen — also autonomen KI-Agenten, die eigenständig auf Daten zugreifen, Werkzeuge aufrufen und Sub-Agenten delegieren. Das Problem ist nicht neu, aber die Dokumentation ist es: Ein arXiv-Paper (cs.CR 2609.01663) zeigt, dass Agenten sensible Kontextinformationen — Gesundheitsdaten, Finanzunterlagen, interne Dokumente — bereits durch einfache Inferenzangriffe preisgeben, ohne dass klassische "Jailbreaks" nötig sind. Der Mechanismus: Agenten müssen zur Erfüllung ihrer Aufgabe auf Kontexte zugreifen, und dieser Zugriff selbst wird zur Leckstelle.

Parallel dokumentiert ein zweites Paper (arXiv 2609.00267) ein Governance-Vakuum in Multi-Agent-Systemen. Laut dieser Studie fehlt es Unternehmen an Identitäts- und Autorisierungskontrolle, wenn Agenten untereinander delegieren. Ein Agent mit Admin-Credentials kann diese an Sub-Agenten weitergeben, ohne dass zentrale Policies greifen — ein Vertrauensproblem im Delegationsmodell selbst. Hinzu kommt ein operatives Risiko: Ein drittes Paper (arXiv 2609.00052) zeigt, dass kommerzielle LLM-Provider ihre beworbenen Modelle stumm austauschen, quantisieren oder wrappen können ("AgentProv: Auditing Agentic LLM API Providers"). Das hat unmittelbare Konsequenzen für Sicherheitsgarantien: Ein Agent, der mit GPT-4 getestet wurde, läuft möglicherweise mit einem quantisierten Ersatz-Modell in der Produktion.

Auf praktischer Ebene zeigt eine Disclosure von Manifold Security (The Hacker News, September 2026), dass selbst lokale Sicherheitsmechanismen umgangen werden können: Manipulierte .git-Konfigurationen in Code-Repositories können Claude, Cursor, Codex und weitere KI-Coding-Agents dazu bringen, beliebigen Attacker-Code auszuführen. Der Vektor ist niederschwellig — ein Developer cloned ein Repository, der Agent führt Setup-Befehle aus, die Konfiguration trickt den Agenten aus. Acht Schwachstellen über sieben Tools hinweg deuten auf ein systemisches Muster.

Warum für DACH relevant: DSGVO-Konformität und Mittelstandsrealität

Diese Lecks treffen DACH-Unternehmen in einer empfindlichen Situation. Die DSGVO verpflichtet Betreiber zu Datenminimierung und Zweckbindung — genau das, was agentic AI-Systeme strukturell sabotieren: Ein Agent, der auf Kontextdokumente zugreifen muss, um eine Aufgabe zu lösen, kann diese Kontexte nicht einfach "nicht sehen". Die Kontextinferenz-Angriffe zeigen, dass selbst wenn der Agent die Daten nicht explizit ausgibt, ein Angreifer sie durch gezielte Queries rekonstruieren kann. Für DACH bedeutet das: Wer Agenten mit sensiblen Kundendaten trainiert oder einsetzt, benötigt nicht nur technische Isolation, sondern ein Audit-Regime, das Kontextlecks erkennt.

Der EU-AI-Act verschärft das Problem. Agenten, die mit hohem Risiko klassifiziert sind (etwa in Finanz- oder Gesundheitskontexten), unterliegen Transparenz- und Dokumentationspflichten. Wenn Provider ihre Modelle heimlich austauschen (wie AgentProv dokumentiert), ist zentrale Anforderung des Acts — die Rückverfolgbarkeit der verwendeten Systeme — nicht erfüllt. Ein deutsches oder österreichisches Unternehmen, das einen KI-Agent deployed, kann nicht rechtssicher garantieren, welches Modell tatsächlich läuft.

Für den deutschen Mittelstand ist die Delegation-Problematik besonders brisant. Viele mittelständische Kanzleien, Beratungen und Finanzdienstleister experimentieren mit Agenten, die auf eigene Kundendaten zugreifen. Wenn diese Agenten Sub-Agenten spawnen oder APIs aufrufen, fehlt oft die Kontrolle darüber, welche Credentials weitergegeben werden. Im deutschen Compliance-Verständnis (und erst recht unter Datenschutz) ist das eine Audit-Katastrophe.

Zugleich zeigt die Perplexity-Meldung einen pragmatischen Ausweg: Hybrid-Compute-Architekturen, bei denen sensitive Kontexte lokal bleiben und nur Orchestrierungs-Signale in die Cloud gehen. Aber genau diese Ansätze sind für mittelständische Entwickler technisch noch zu komplex und teuer.

Was du jetzt tun/wissen solltest: Vertrauensgrenzen neu zeichnen

Der zentrale Take-away ist ein architekturisches: Agentic AI erfordert explizite Vertrauensgrenzen, nicht implizite. Unternehmen sollten nicht davon ausgehen, dass ein Agent mit sensiblen Daten umgehen kann, nur weil "Sicherheit" ein Feature-Punkt ist. Stattdessen ist ein dreistufiges Modell erforderlich: (1) Kontext-Quarantäne: Sensible Daten sollten in getrennten Systemen oder lokalen Instanzen bleiben; Cloud-Agenten erhalten nur aggregierte oder anonymisierte Queries. (2) Delegation-Policy als Code: Multi-Agent-Systeme brauchen zentrale, unveränderbare Autorisierungsregeln — vergleichbar mit IAM in Cloud-Infrastruktur, aber für Agenten. (3) Provider-Audit-Recht: Verträge mit LLM-Anbietern müssen ein Recht auf technische Verifizierung der Modellidentität enthalten; der stille Austausch von Modellen muss vertraglich ausgeschlossen sein.

Für Pentester und Security-Teams ist das ein neues Prüffeld: KI-Pentesting von Agenten unterscheidet sich von klassischem Jailbreak-Testing. Es geht um Kontextleck-Szenarien, Delegation-Loops, und Git-Config-Manipulationen. Wer mit Agenten arbeitet, sollte diese Angriffsmuster gezielt testen. Weiterführend lohnt sich ein Blick auf DUPIN, das System zur automatisierten Detektion von Cyberangriffen durch Machine Learning — ein verwandter Ansatz, um unerwartete Agent-Verhaltensweisen forensisch zu erfassen.

Quellen