Capacités émergentes des grands modèles de langage

L'augmentation de la taille des modèles de langage a démontré une amélioration prévisible des performances et de l'efficacité d'échantillonnage sur un large éventail de tâches en aval. Cet article traite plutôt d'un phénomène imprévisible que nous appelons capacités émergentes des grands modèles de langage. Nous considérons qu'une capacité est émergente si elle n'est pas présente dans les modèles plus petits mais qu'elle apparaît dans les modèles plus grands. Ainsi, les capacités émergentes ne peuvent pas être prédites simplement en extrapolant les performances des modèles plus petits. L'existence de cette émergence implique qu'une augmentation supplémentaire de la taille pourrait élargir encore la gamme des capacités des modèles de langage.