Was passiert
RAG-Systeme greifen auf externe Dokumente zu, um Sprachmodelle genauer zu machen. Eine neue Studie untersucht, was passiert, wenn diese abgerufenen Dokumente manipuliert werden. Getestet wurde Llama 3.1 8B – ein kleines, quantisiertes Sprachmodell – unter Bedingungen, in denen abgerufene Dokumente verfälscht sind.
Das Experimentaldesign ist systematisch: 588 Durchläufe wurden mit drei verschiedenen Korruptionsstrategien durchgeführt. Jede Strategie wurde einzeln und kombiniert auf null bis drei der drei abgerufenen Passages angewendet:
- Entity Swap: Benannte Entitäten werden durch andere ersetzt (z.B. "Berlin" → "Paris")
- Number Swap: Zahlenwerte werden vertauscht (z.B. "2020" → "1995")
- Negation: Aussagen werden negiert ("X ist wahr" → "X ist falsch")
Basislinie bildete ein Fact-Checking-Task auf Basis des FEVER-Datensatzes. Mit unverfälschtem Kontext erreichte Llama 3.1 8B eine Genauigkeit von 77,9%. Sobald alle drei Passages korrupt waren, brach die Performance auf 43,5% ein – ein Rückgang um über 34 Prozentpunkte.
Die Ergebnisse unterscheiden sich je nach Korruptionsstrategie erheblich. Entity Swap erwies sich als besonders wirksam: Bei dieser Attacke wurden die meisten ursprünglich korrekten Antworten umgekippt. Number-basierte Manipulation zeigte ein interessantes Muster – solange die manipulierten Passages eine Minderheit bildeten, blieb die Genauigkeit relativ stabil. Erst wenn zwei oder alle drei Passages Zahlenabweichungen aufwiesen, kam es zu größeren Performanzeinbußen. Dieses Schwellenwert-Verhalten wurde durch Query-Level Bootstrap-Intervalle überprüft.
Ein Nebeneffekt verdient Aufmerksamkeit: Das Modell erfand unter Attacke nicht systematisch neue Falschaussagen, wie man hätte befürchten können. Stattdessen war seine dominante Reaktion, sich zu enthalten – also unsicher zu werden oder keine Antwort zu geben. Ein Lexical-Overlap-Proxy zur Messung von "unsupported generation" fiel unter Angriffsszenarien tatsächlich ab, statt zu steigen.
Die Forschenden weisen darauf hin, dass die Studie im Small-Scale-Format mit automatisierten Labels arbeitet. Sie behandeln die Kontraste zwischen Strategien daher als "suggestiv" bis zur stärkeren Validierung, wenn das Decoding kontrolliert und manuelle Adjudikation eingeführt wird.
Einordnung
RAG-Systeme sind inzwischen Standardarchitektur für produktive LLM-Anwendungen, weil sie Halluzinationen reduzieren, indem sie Sprachmodelle an tatsächlich abgerufene Dokumente binden. Dies funktioniert, solange die Quelle vertrauenswürdig ist – aber genau hier öffnet sich eine neue Angriffsfläche.
Dokument-Poisoning ist im Sicherheitskontext nicht neu. Böswillige Akteure könnten Inhalte in öffentlich zugänglichen Datenquellen manipulieren (etwa Wikipedia-artigen Systemen, News-Archiven oder Kundendatenbanken), die dann von RAG-Systemen abgerufen werden. Im Gegensatz zu direkten Prompts ist die Attacke weniger offensichtlich: Das Modell "glaubt" seinen Quellen, weil es trainiert wurde, sich auf sie zu verlassen.
Die bisherige Forschung zu RAG hat sich primär auf Retrieval-Qualität und Halluzination konzentriert. Adversariale Robustheit unter Dokumentenverfälschung wurde deutlich weniger systematisch gemessen. Diese Studie füllt diese Lücke – und zeigt, dass selbst ein kleineres Modell wie Llama 3.1 8B anfällig ist.
Der Kontext ist technisch relevant: Quantisierte kleine Modelle werden für Edge-Deployments und ressourcenschonende Anwendungen zunehmend bevorzugt. Wenn solche Modelle beim Document Poisoning deutlich fragiler reagieren als größere Varianten, hätte das Implikationen für Deployment-Strategien. Die Experimente auf FEVER (Fact Extraction and Verification) sind zudem ein etablierter Benchmark – die Ergebnisse sind daher auf ähnliche Fact-Checking-Szenarien verallgemeinerbar.
Zusätzlich interessant: Das Modell reagiert defensiv (Abstention) statt offensiv (Erfindung neuer Falschaussagen). Das deutet darauf hin, dass Token-Level Unsicherheit teilweise funktioniert – aber 43,5% Genauigkeit bei vollständiger Verfälschung zeigt, dass diese Selbstschutz-Mechanismen nicht reliabel sind.
Was das bedeutet
Die zentrale Erkenntnis: RAG ist nicht automatisch robuster nur weil es dokumentengestützt ist. Es verlagert das Sicherheitsrisiko von Modell-Halluzination zu Quelle-Integrität. Diese Verschiebung ist real und messbar.
Für Produktionssysteme folgt daraus eine unbequeme Konsequenz: Vertrauenswürdigkeit von Datenquellen wird zur kritischen Komponente der Sicherheitsarchitektur. Ein RAG-System ist nie besser als seine schwächste Quelle – und wenn Quellen kompromittiert oder manipulierbar sind, ist das System es auch. Die Studie zeigt, dass bereits drei korrupte Passages aus drei abgerufenen Dokumenten Genauigkeit halbieren können.
Das wirft praktische Fragen auf: Wie werden Dokumentenquellen in produktiven RAG-Systemen validiert? Wie oft werden sie auf Integrität geprüft? Für unternehmenskritische Anwendungen (Compliance, Medizin, Rechtswesen) ist das eine nicht zu ignorierende Anforderung. Es reicht nicht, das beste Modell zu deployen – die Lieferkette der Daten muss ebenfalls gesichert werden.
