Längeres Denken = Mehr Verzerrungen?
Chain-of-Thought (CoT)-Reasoning und spezialisierte Reasoning-Modelle wie DeepSeek-R1 gelten als Fortschritt gegen oberflächliche Heuristiken und Biases. Eine neue arXiv-Studie offenbart jedoch ein kontraintuitives Phänomen: Gerade bei längeren Gedankenprozessen zeigen diese Modelle stärkere Position Bias bei Multiple-Choice-Aufgaben.
Die Forschung testete 13 verschiedene Konfigurationen, darunter R1-distillierte 7-8B-Modelle, klassische Base-Modelle mit CoT-Prompting und DeepSeek-R1 (671B). Auf Benchmarks wie MMLU, ARC-Challenge und GPQA zeigte sich konsistent: Die Länge der Reasoning-Trajektorie korreliert positiv mit dem Position Bias Score (PBS). Zwölf der 13 Konfigurationen wiesen signifikante positive Korrelationen auf (0,11 bis 0,41, p < 0,05).
Der Mechanismus hinter der Verzerrung
Ein Truncation-Experiment liefert Kausalevidence: Wenn die Autoren Trajectories an späteren Punkten unterbrachen und fortsetzten, stieg die Wahrscheinlichkeit um 16-32%, dass das Modell zu positions-bevorzugten Optionen wechselte. Das deutet darauf hin, dass längeres Reasoning nicht zu besseren Antworten führt, sondern zur Akkumulation von Bias-Effekten.
Beim größten Modell (671B) sinkt der aggregate PBS auf 0,019 – aber ein residualer Effekt bleibt in der längsten Quartile (PBS = 0,071). Das legt nahe: Die höhere Accuracy "maskiert" den Mechanismus, eliminiert ihn aber nicht.
Interessanterweise unterscheidet sich dieser längengetriebene Bias vom klassischen Direct-Answer-Bias. Während CoT den traditionellen Position Bias durch längeres Reasoning ersetzt, variiert dieser Effekt stark zwischen Modellen (stark in Llama-Instruct-direct, schwach in Qwen-Instruct-direct).
Implikationen für die Evaluation
Die Ergebnisse stellen eine wichtige Warnung dar: Reasoning-Modelle sollten in MCQ-Evaluations-Pipelines nicht als "ordnungsrobust" angenommen werden. Selbst bei präziseren Antworten können systematische Verzerrungen zugunsten bestimmter Antwortpositionen bestehen bleiben.
Die Autoren stellen ein diagnostisches Toolkit bereit – Position Bias Score, Commitment Change Points, Effective Switching und Truncation Probes – um Position Bias in Reasoning-Modellen zu auditieren. Das ist zentral für robustere Evaluationen, besonders da längeres "Denken" zwar kognitiv wirkt, aber nicht automatisch zu weniger Verzerrungen führt.