Workflow statt Parameter
Die DeepLens Diagnosis Agent zeigt ein wichtiges Prinzip: Bei komplexen Aufgaben schlägt durchdachte Prozessgestaltung rohe Modellgröße. Forscher demonstrieren dies anhand von medizinischer Diagnose – eine der anspruchsvollsten Benchmarks für KI-Systeme.
Das Kernproblem ist bekannt: Frontier-Modelle wie GPT-4 oder Claude liefern beim einfachen Prompting in medizinischen Anwendungen häufig brüchige Ergebnisse. Ein einzelner Prompt-Durchlauf reicht nicht aus für Domains, wo strukturiertes klinisches Denken essentiell ist.
Die Pipeline: Fünf strukturierte Stufen
DeepLens nutzt ein kleines 7B-Modell (JSL Medical Small v2) in einer fünf-stufigen Pipeline:
- Strukturierte Faktextraktion – Systematisches Erfassen von Symptomen, Labor- und Befunddaten
- Disziplinierte Retrieval – RAG basierend auf Fachwissen, nicht allgemeine Informationen
- Begrenzte Kandidatengenerierung – Differenzialdiagnose mit kontrollierten Hypothesen
- Explizite Evidenztriangulation – Kreuzvalidierung der Befunde über multiple Quellen
- Auditable Entscheidung – Nachvollziehbare finale Diagnose mit Begründung
Die Kraft liegt in der Disziplin, nicht der Größe.
Zahlen, die sprechen
Auf dem DiagnosisArena-Benchmark (915 Fälle):
- Mit Workflow: 60,14% Top-1-Genauigkeit
- Ohne Workflow: 23,99% – ein +36-Punkt-Sprung allein durch Design
- Kosten: USD 0,0072 pro Fall (vs. 0,0110 für Claude Sonnet, 0,0128 für Gemini 3.1)
- Latenz: 24 Sekunden
- Performance-Vorteil: +9,7pp über Claude, +9,2pp über Gemini
Zum Kontext: Das 7B-Modell erreicht 88,2% auf Standard-Medical-Benchmarks. Der Unterschied zwischen 88% Wissenserkennung und 60% praktischer Diagnose illustriert das echte Problem – unter Unsicherheit korrekt zu urteilen ist nicht Faktenwissen.
Praxisrelevanz
Für High-Stakes-Szenarien (Medizin, Recht, Finanzentscheidungen) sind strukturierte Artefakte ein Game-Changer. Jede Pipeline-Stufe produziert inspizierbare Zwischenergebnisse:
- Nachvollziehbarkeit: Wo kam welche Entscheidung her?
- Fehlerlokaliserung: Welche Stufe versagte bei Fehldiagnosen?
- Auditing: Reproduzierbar und überprüfbar für Regulierung
Das ist relevant für alle, die kleine Modelle in kritischen Domänen einsetzen. RAG + strukturiertes Prompting + Constraint-Enforcement ersetzen Parameter.
Wider dem Hype
Die Studie zeigt: Das Problem medizinischer KI ist nicht Wissensmangel großer Modelle, sondern fehlende Prozessstruktur. Ein 7B-Modell mit guter Architektur schlägt Frontier-LLMs, wenn die Pipeline stimmt. Das skaliert auf andere Domänen – überall dort, wo deterministische Abläufe möglich sind, ist Workflow-Design effizienter als größere Parameter.