FLOWKI · NEWSROOM
KI-Agenten: Prompt-Injection und Memory-Attacken gefährden Unternehmen
ki-pentesting

KI-Agenten: Prompt-Injection und Memory-Attacken gefährden Unternehmen

ki-pentesting7 unabhängige QuellenFlowKI Newsroom

Autonome KI-Agenten in Unternehmen werden zunehmend zur Sicherheitslücke. Laut Help Net Security hat OWASP mit dem Agent Memory Guard ein Framework veröffentlicht, das vor einem unterschätzten Angriffspunkt warnt: der persistenten Speicherung von Agent-Kontexten. Conversation Histories, Vector Stores und RAG-Indizes bleiben über mehrere Sessions erhalten und werden von Agenten als privilegierte Eingaben behandelt — genau dort können Angreifer Prompt-Injections platzieren, die bei späteren Runs ausgeführt werden.

Die Bedrohung ist konkret. Wie t3n berichtet, laufen bereits dutzende KI-Agenten autonom in deutschen und europäischen Unternehmen, doch mehr als 50 Prozent werden nicht überwacht. Was als schnelle operative Lösung startet, wird zur technischen Altlast ohne Audit-Trail oder Isolation. Gleichzeitig zeigen neue arXiv-Arbeiten (cs.CR), dass Tool-augmentierte LLM-Agenten fundamental anfällig für Prompt-Injection sind: Ein Dritter, der Teil des Agent-Kontexts kontrolliert — etwa über eine Web-Seite, deren Inhalte der Agent scraped — kann versteckte Instruktionen einschleusen, die der Agent befolgt.

Für deutschsprachige Unternehmen verschärft sich die Lage durch Compliance-Anforderungen. Die DSGVO und der EU-AI-Act fordern Transparenz über Datenflüsse und Tool-Zugriffe. Ein kompromittierter Agent, der z.B. mit Bankapiś, CRM-Systemen oder Personalakten verbunden ist, gefährdet nicht nur Betriebsabläufe, sondern auch personenbezogene Daten. Der Kontrollmechanismus fehlt noch: Während OWASP und Forschungsteams an Countermeasures arbeiten (z.B. polymorphe Prompt-Assemblierung mit dynamischen Separatoren), bleibt die Implementierung auf den Betreiber der Agenten beschränkt.

Wer KI-Agenten im Produktion betreibt oder plant, braucht sofort Sichtbarkeit: Welche Agenten laufen? Welche Tools rufen sie auf? Welche Daten landen in ihrem Memory? Ein Penetration-Testing-Programm für LLM-Applikationen sollte Agent-Memory-Szenarien einbeziehen. Parallel hilft eine strukturierte Safety-Pipeline — mit Input-Validierung, Tool-Isolation und Output-Audit — das Risiko zu senken. Ohne diese Kontrollschichten wird jeder autonome Agent zur Waffe in den eigenen Systemen.

Quellen