flowki@club:~$ Coding, Automation & Security — auf Deutsch
FlowKI Club

Deine KI. Deine Community. Deine Vorteile.

  • KI Know-how
  • Prompts & Tools
  • Security & Privacy
  • Community Support
  • Exklusive Vorteile
Werde Teil der Community

Verschlüsselte Prompts umgehen Safety-Guardrails in Grok und Gemini

Forscher haben eine neue Technik entdeckt, die Safety-Guardrails in großen Language Models durch verschlüsselte Prompts umgeht. Die 'Cryptographic Context Injection' versteckt schädliche Anweisungen bis zur Dekodierung in der Execution Environment.

Verschlüsselte Prompts umgehen Safety-Guardrails in Grok und Gemini

Dieser Beitrag wurde mit KI-Unterstützung aus der angegebenen Quelle erstellt und vor der Veröffentlichung automatisch gegen sie abgeglichen. Nicht jeder Beitrag wird zusätzlich von Hand gelesen — wir prüfen stichprobenweise nach und kennzeichnen Korrekturen. Beruht ein Artikel auf einem selbst durchgeführten Test, weisen wir das ausdrücklich aus.

Neue Angriffsmethode auf AI-Sicherheitssysteme entdeckt

Sicherheitsforscher haben eine neue Angriffstechnik identifiziert, die es ermöglicht, die integrierten Sicherheitsmechanismen von großen Language Models wie Grok und Google Gemini zu umgehen. Die als "Cryptographic Context Injection" bezeichnete Methode nutzt Verschlüsselung, um schädliche oder unerwünschte Anweisungen vor den Filtern der AI-Systeme zu verbergen.

Wie die Attacke funktioniert

Das Prinzip der Cryptographic Context Injection ist konzeptionell relativ einfach: Statt schädliche Anweisungen direkt als Prompt einzugeben, werden diese zunächst verschlüsselt. Der verschlüsselte Text wird dann an das AI-Modell übergeben, zusammen mit Dekodierungsanweisungen. Das AI-System führt die Dekodierung durch und arbeitet anschließend mit dem freigegebenen Text – allerdings ohne dass die ursprünglichen Safety-Filter eingreifen konnten.

Dieser Ansatz funktioniert, weil die Sicherheitsmechanismen typischerweise auf der Eingabeebene arbeiten. Sie analysieren den initialen Prompt auf problematische Inhalte, bevor dieser vom Modell verarbeitet wird. Wenn der Prompt jedoch verschlüsselt ist, sehen diese Filter nur kryptographischen Noise – keinen tatsächlichen Inhalt, den sie blockieren könnten.

Die vertrauenswürdige Execution Environment

Ein wichtiger Aspekt dieser Technik ist die Rolle der Trusted Execution Environment (TEE). Dies ist ein geschützter Bereich innerhalb des Systems, in dem sensible Operationen ablaufen. Die Forscher demonstrierten, dass die Dekodierung des verschlüsselten Textes innerhalb dieser Environment stattfindet, was den Angreifern zusätzliche Sicherheit gibt – denn auch die Systembetreiber können nicht so leicht nachvollziehen, was genau dekodiert wird.

Auswirkungen auf Grok und Gemini

Die Verwundbarkeit betrifft nicht nur ein einzelnes Modell, sondern mehrere prominente Systeme. Die Tests mit Grok (dem AI-System von xAI/X) und Google Gemini zeigten, dass beide Plattformen anfällig für diese Art von Angriffen sind. Das ist bemerkenswert, da beide Systeme mit modernen Safety-Mechanismen ausgestattet sind.

Für Grok bedeutet dies besondere Aufmerksamkeit, da das System bewusst mit weniger restriktiven Guardrails konzipiert wurde. Die Cryptographic Context Injection zeigt jedoch, dass auch bei weniger strikten Filtern strukturelle Sicherheitslücken existieren können. Bei Gemini, wo Google deutlich strengere Sicherheitsrichtlinien implementiert hat, ist der Erfolg dieser Angriffsmethode ein direkter Hinweis auf die Grenzen des Input-basierten Filtering-Ansatzes.

Breitere Implikationen für AI-Sicherheit

Diese Forschung offenbart ein grundlegendes Problem in der aktuellen Architektur von Language Model Safety: Die meisten Schutzmaßnahmen konzentrieren sich darauf, was ein Nutzer direkt eingibt. Sie setzen darauf voraus, dass der Text, den das Modell sieht, derselbe ist, den der Nutzer eingibt – und dass er interpretierbar ist.

Die Cryptographic Context Injection zeigt, dass diese Annahme nicht immer gültig ist. Sie macht deutlich, dass echte AI-Sicherheit nicht allein auf der Eingabevalidierung beruhen kann. Systeme müssen auch im Verarbeitungsprozess selbst – in der Controlled Execution Environment – intelligente Schutzmaßnahmen haben.

Mögliche Gegenmaßnahmen

Für Entwickler von Language Models ergeben sich mehrere potenzielle Reaktionen auf diese Erkenntnisse:

Dekodierungs-Filtering: Systeme könnten den dekodierungsschritt selbst überwachen und den resultierenden Text erneut durch Safety-Filter laufen lassen, bevor das Modell damit arbeitet.

Kontextuelle Analyse: Statt nur den direkten Prompt zu prüfen, könnten AI-Systeme lernen, verdächtige Muster – wie die Kombination von Verschlüsselungs-Requests mit kryptographischen Anweisungen – als potenziell problematisch zu erkennen.

Vertrauenswürdige Ausführung überdenken: Die TEE-Architektur könnte so angepasst werden, dass dekodierte Inhalte zusätzlichen Überprüfungen unterliegen.

Forschungsbeitrag und nächste Schritte

Die Veröffentlichung dieser Forschungsergebnisse durch Sicherheitsexperten folgt dem Standard der Responsible Disclosure – die betroffenen Unternehmen wurden vorgewarnt. Dies gibt xAI, Google und anderen Anbietern Zeit, ihre Systeme anzupassen, bevor die Technik zur Standardwaffe in der Hacking-Community wird.

Die Entdeckung unterstreicht die Wichtigkeit von kontinuierlichem Security-Testing bei AI-Systemen. Was heute als theoretische Schwachstelle identifiziert wird, kann morgen in der Praxis missbraucht werden. Sicherheitsforschung in diesem Bereich ist daher nicht optional – sie ist ein notwendiger Teil der verantwortungsvollen AI-Entwicklung.

Fazit

Die Cryptographic Context Injection zeigt auf, dass die Sicherheit großer Language Models noch deutlich komplexer ist als manchmal angenommen wird. Einfache Input-Filter reichen nicht aus. Stattdessen müssen AI-Systeme auf mehreren Ebenen – von der Eingabe bis zur internen Verarbeitung – intelligente Schutzmechanismen implementieren. Für Nutzer von Grok, Gemini und ähnlichen Systemen ist dies ein Reminder, dass auch vermeintlich sichere Systeme Grenzen haben, während die Anbieter verstärkt an mehrschichtigen Security-Ansätzen arbeiten müssen.

TeilenXLinkedInWhatsApp
Weiterlesen

Aus dem Magazin

Alle Artikel
SECURITY

GreatXML: Neue Sicherheitslücke umgeht Windows BitLocker

2 min · 11. Juni

SECURITY

Nur 11% der produktiven AI Agents erfüllen Sicherheitsstandards

2 min · 3. Juni

SECURITY

SymJack: Wie AI-Coding-Agenten zu Supply-Chain-Angriffszielen werden

2 min · 27. Mai