Eine peinliche Situation für Südafrika: Die neue nationale KI-Richtlinie, die Chatbots und Agenten regulieren soll, wurde offenbar von einem Chatbot geschrieben – und enthält erfundene Quellen.
Das Problem mit der Selbstreferenz
Die südafrikanische Regierung hatte mit guten Absichten gestartet: Eine klare Richtlinie für den Umgang mit KI-Systemen sollte Sicherheit und Transparenz gewährleisten. Doch die Ironie der Geschichte liegt auf der Hand – der Gesetzesentwurf selbst leidet unter einem Kernproblem aller LLMs: Halluzinationen.
Analysten entdeckten, dass zentrale Quellenangaben im Dokument nicht existieren oder falsch zitiert sind. Ein deutliches Zeichen dafür, dass der Text von einem Language Model generiert wurde, das überzeugende, aber erfundene Referenzen produziert hat.
Warum das mehr als peinlich ist
Das Ganze illustriert ein fundamentales Dilemma: Regierungen wollen KI regulieren, nutzen aber selbst diese Technologie zur Erstellung von Policies. Wenn dabei grundlegende Standards wie Quellenverifizierung nicht eingehalten werden, entsteht ein Glaubwürdigkeitsproblem.
Es geht nicht primär um die Nutzung von KI-Tools – diese können bei der Recherche und Drafting helfen. Das echte Problem: Unzureichende Quality Assurance und Fact-Checking vor der Veröffentlichung eines offiziellen Regulierungsdokuments.
Lernpunkte für andere Jurisdiktionen
Dieser Fall zeigt, worauf Organisationen achten müssen, wenn sie LLMs bei der Policy-Erstellung einsetzen:
- Vollständige Verifizierung aller Quellen vor der Publikation
- Transparente Offenlegung, wenn KI-Tools im Prozess verwendet wurden
- Mehrschichtiges Review-Process mit Fachexperten, nicht nur mit Tools
- Besondere Vorsicht bei Rechtsdokumenten, wo Präzision nicht verhandelbar ist
Die südafrikanische Richtlinie wird nun überarbeitet – unter genauerer menschlicher Kontrolle. Ein kostspieliger, aber wichtiger Lernschritt für andere Regierungen, die ähnliche Wege gehen.
