Execution Feedback schlägt Pipeline-Komplexität
Small Language Models im Bereich 1-3B laufen zwar lokal, kämpfen aber mit komplexeren Code-Aufgaben. Eine neue Studie vom arXiv untersucht, ob Pipelines aus mehreren kleinen Modellen diese Limitation ausgleichen können – und kommt zu überraschenden Erkenntnissen.
Refinement mit Feedback funktioniert
Das Kernresultat ist eindeutig: Self-Refinement mit Execution Feedback verbessert die Code-Generierung um über 4 Standardabweichungen auf HumanEval und sanitized MBPP. Die Mechanik dahinter ist aber eng begrenzt: Der Refinement-Prozess behebt primär Laufzeitfehler wie NameError und SyntaxError, macht aber gegen Logic-Fehler (AssertionError) kaum Fortschritte.
Interessanterweise ist die Identität des Generator-Modells weniger relevant als erwartet. Ein 1.5B-Generator mit einem 3B-Refiner erreichte gleiche Ergebnisse wie ein 3B-Modell, das beide Rollen spielte. Das heißt: Mit dem richtigen Setup lassen sich kleinere Modelle effektiv kombinieren.
Pipeline-Komplexität bringt wenig
Die Forschenden testeten mittels NEAT-inspirierter evolutionärer Suche, ob komplexere Pipeline-Topologien besser sind. Das Ergebnis ist klar – nein. Die einfache Generate-Execute-Refine-Schleife, die sie manuell gefunden hatten, wurde von der evolutionären Suche immer wieder rediscovert. Keine komplexere Architektur zeigte signifikante Vorteile.
Critical ist auch Early Stopping: Ohne Limit werden weitere Iterationen kontraproduktiv. Jede zusätzliche Refinement-Runde verschlechtert die Ergebnisse aktiv.
Spezialisierung schlägt Architektur
Ein wichtiger Seitenfund: Code-spezialisierte Modelle übertrafen alle getesteten General-Purpose-Pipeline-Konfigurationen. Das deutet darauf hin, dass Model Specialization kritischer ist als Pipeline-Design.
Text-only Pipelines ohne Execution Feedback zeigten bei dieser Skalierung keine Gewinne – das Feedback-Element ist zentral.
Praktische Implikation
Für lokal laufende Code-Generation bedeutet das: Statt komplexe Multi-Modell-Systeme zu bauen, lohnt sich der Fokus auf gutes Execution Feedback und simple Refinement-Loops. Ein kleineres spezialisiertes Modell paired mit solidem Feedback outperformt größere generische Pipelines.
Die Studie warnt auch vor Single-Evaluation Fitness in Suchen – diese inflated Ergebnisse um 5-7 Prozent und wählt eher "glückliche" Modelle statt guter aus.
Bottom Line: Bei 1-3B-Modellen gewinnt man mehr durch robustes Feedback als durch architektonische Spielereien.