Große Denkmodelle (LRMs) erzielen beeindruckende Denkfähigkeiten, indem sie lange Gedankenketten generieren, jedoch führt dieses "Überdenken" zu hoher Latenz und Kosten ohne entsprechende Genauigkeitsgewinne. In dieser Arbeit stellen wir AALC vor, eine leichte, verg Accuracy-bewusste Längenbelohnung, die in das Reinforcement Learning integriert ist und dynamisch Korrektheit und Kürze während des Trainings ausbalanciert. Durch die Einbeziehung der Validierungsgenauigkeit in die Belohnung und die Anwendung einer sanften, dynamisch geplanten Längenstrafe verzögert AALC die Längenstrafe, bis die Zielleistung erreicht ist. Durch umfassende Experimente an standardmäßigen und außerhalb der Verteilung liegenden Mathematikbenchmarks zeigen wir, dass unser Ansatz die Antwortlänge um über 50 % reduziert, während die ursprüngliche Genauigkeit beibehalten oder sogar verbessert wird. Darüber hinaus zeigt die qualitative Analyse, dass unsere Methode überflüssige Denkmuster wie übermäßiges Setzen von Unterzielen und Überprüfungen eindämmt, was zu strukturell verfeinerten Ausgaben anstatt zu naiver Trunkierung führt. Wir stellen auch fest, dass Effizienzgewinne mit reduzierter Interpretierbarkeit einhergehen: Modelle, die mit AALC trainiert wurden, lassen einige narrative Rahmen und erläuternden Kontext weg. Diese Ergebnisse heben das Potenzial belohnungsbasierter Strategien hervor, LRMs zu effizienteren, generalisierbaren Denkwegen zu leiten.
Li et al. (Wed,) untersuchten diese Frage.