Les grands modèles de langage possèdent une capacité intrinsèque d'auto-correction

Les grands modèles de langage (LLM) ont attiré une attention significative pour leurs capacités remarquables dans diverses tâches de traitement du langage naturel, mais ils souffrent d'hallucinations qui entraînent une dégradation des performances. Une solution prometteuse pour améliorer la performance des LLM est de leur demander de réviser leur réponse après génération, une technique connue sous le nom d'auto-correction. Parmi les deux types d'auto-correction, l'auto-correction intrinsèque est considérée comme une direction prometteuse car elle n'utilise pas de connaissances externes. Cependant, des travaux récents remettent en question la validité de la capacité des LLM à effectuer une auto-correction intrinsèque. Dans cet article, nous présentons une nouvelle perspective sur les capacités d'auto-correction intrinsèque des LLM à travers des analyses théoriques et des expériences empiriques. De plus, nous identifions deux facteurs critiques pour une auto-correction réussie : la température zéro et des invites équitables. En tirant parti de ces facteurs, nous démontrons que la capacité d'auto-correction intrinsèque est manifestée chez plusieurs LLM existants. Nos résultats offrent des perspectives sur les théories fondamentales sous-jacentes au comportement d'auto-correction des LLM et soulignent l'importance d'invites non biaisées et de réglages à température zéro pour exploiter pleinement leur potentiel.