L'adaptation post-formation rend les LLMs plus décisifs sans les rendre plus précis. Sur 3 architectures et 4 méthodes d'apprentissage par renforcement, nous constatons que la couche d'engagement—où le modèle verrouille sa prédiction—ne bouge pas sous l'apprentissage par renforcement. Ce qui change, c'est la géométrie : les représentations se compressent de manière monotone à ce point fixe. Les couches antérieures, où le modèle choisit quoi dire, restent inchangées. Le verrouillage se renforce. Le sélectionneur reste le même.
Angel Pena (Sun,) a étudié cette question.