Was passiert
Forschende haben mit AutoFyn ein Framework veröffentlicht, das Sprachmodelle über mehrere Iterationen hinweg verbessert — ohne die Modellgewichte selbst zu ändern. Das Kernprinzip: Statt das Modell durch Training anzupassen, wird persistenter Zustand (Speicherdateien, Berichte, Code-Repositories) mit verifizierten Erkenntnissen gefüllt und in der nächsten Runde neu eingespielt.
Jede Runde folgt dem gleichen Schema: Ein Orchestrator-Agent koordiniert spezialisierte Sub-Agenten, die alternative Lösungsansätze erkunden und planen. Ein Task-Verifier überprüft die Ergebnisse und vergibt objektive Reward-Signale basierend auf messbarem Fortschritt. Diese Rewards werden nicht zur Gewichtsoptimierung verwendet, sondern fließen in den persistenten Zustand ein, der die nächste Runde informiert. Das Modell selbst bleibt gefrorgen ("frozen model"), fungiert aber mit neuem Kontext als erheblich effektiveres System.
Die Autoren demonstrieren das Vorgehen in drei Domänen:
Olympiad Mathematics: Auf sechs frischen Aufgaben der 2026 International Mathematical Olympiad (IMO) schneiden Modelle, die Verbesserungspotential haben, unter AutoFyn konsistent besser ab als in den proprietären Coding-Agenten der Modell-Anbieter selbst. Das ist bemerkenswert, weil IMO-Probleme standardmäßig komplexe mathematische Reasoning-Fähigkeiten erfordern und neue Instanzen oft auch etablierte Systeme überfordern.
Data Science: AutoFyn erreichte den höchsten Rang auf dem Spider 2.0 dbt-Benchmark, einer Standardevaluierung für SQL-Generierung und Datenbank-Abfragen in realweltlichen Szenarien.
Cybersecurity: Das System hat 16 von Maintainern bestätigte Vulnerability-Advisories in produktiven Systemen entdeckt — betroffen sind Next.js, MetaMask, pnpm, Warp, LiteLLM, Langflow und Open WebUI. Diese sind nicht Sandbox-Funde, sondern echte, reproduzierbare Sicherheitslücken, die den Paketen gemeldet und dokumentiert wurden.
Die technische Dokumentation des Reports formalisiert die Feedback-Schleife, beschreibt die Schnittstellen der persistenten Zustände und gibt konkrete Implementierungsdetails für alle drei Domänen.
Einordnung
Expert Iteration ist nicht neu — das Konzept stammt aus der Spieltheorie und wurde in Systemen wie AlphaGo und AlphaZero angewendet. Die Innovation hier ist die Anpassung auf "frozen" große Sprachmodelle ohne weitere Feinabstimmung.
Das unterscheidet AutoFyn fundamental von klassischem Fine-Tuning oder Reinforcement Learning from Human Feedback (RLHF): Dort werden Modellgewichte iterativ angepasst. Bei AutoFyn bleibt das Modell unverändert. Stattdessen wird die Effektivität durch Kontextmodulation, strukturierte Speicherung und systematische Reward-Integration erreicht.
Die praktische Bedeutung liegt darin, dass dieser Ansatz mit beliebigen LLM-Providern funktioniert, die nur API-Zugriff bieten. Kein Zugang zu Trainingsdaten nötig, kein Zugang zu Modellgewichten, kein Fine-Tuning auf spezialisierter Hardware. Unternehmen können ihre bestehenden API-Subscriptions nutzen und erhalten trotzdem kontinuierliche Leistungsgewinne.
Das ist auch eine Antwort auf ein bekanntes Problem: Große proprietäre Modelle können nicht einfach auf spezifische, neue Probleme optimiert werden, wenn nur APIs zur Verfügung stehen. AutoFyn zeigt, dass man dennoch strukturiert iterativ bessere Ergebnisse erzielen kann — durch intelligente Kontext-Verwaltung und Verifikation statt durch Gewichtsanpassung.
Die Verifikation ist dabei essentiell: Nur wenn klar definierte Reward-Signale entstehen (mathematische Korrektheit einer IMO-Lösung, Query-Ausführung beim Benchmark, tatsächliche Reproduzierbarkeit einer Sicherheitslücke), funktioniert das System. Das unterscheidet AutoFyn auch von reinem Prompt-Engineering, das eher ad-hoc ist.
Absolut zentral: Das Framework arbeitet mit echten Metriken. IMO-Aufgaben haben objektive Lösungen. Datenbank-Abfragen haben objektive Ergebnisse. Sicherheitslücken sind binary verifizierbar. Auf solchen Domänen mit starkem Signal funktioniert der Ansatz nachweislich.
Was das bedeutet
AutoFyn zeigt, dass kontinuierliche Verbesserung von Agenten nicht an Modell-Zyklus oder API-Versionierung gebunden ist. Ein eingefrorenes Modell kann mit zeitgeist-relevantem Wissen und systematisch gelernten Patterns so konfiguriert werden, dass es auf neuen Problemen besser arbeitet. Das ist praktisch für Unternehmen, die schnell reagieren müssen, ohne auf neue Modellversionen zu warten.
Die Cybersecurity-Ergebnisse deuten an, dass spezialisierte Agenten-Systeme — mit strukturierter Exploration, Verifikation und Feedback-Integration — beginnen, produktive Sicherheits-Audits zu unterstützen. 16 confirmed Vulnerabilities sind nicht trivial. Das öffnet eine Kategorie von Werkzeugen, die nicht nur Code analysieren, sondern gezielt exploratbar machen und dafür sorgen, dass gefundene Issues real sind, bevor sie an Teams gehen.
Der wesentliche Take-Away ist aber konzeptionell: Der Weg zu besseren Agenten liegt nicht nur in größeren oder besseren Modellen, sondern auch in besserer Orchestrierung, Speicher-Architektur und Verifikation. Mit constrained Models ist strukturiertes Reasoning oft effektiver als mehr Parameter.
