Les grands modèles de langage savent ce qui fait des contextes exemplaires

L'apprentissage en contexte (ICL) s'est révélé être une capacité importante avec l'avancement des grands modèles de langage (LLMs). En instruisant les LLMs à l'aide de quelques exemples démonstratifs, l'ICL leur permet d'accomplir une large gamme de tâches sans avoir besoin de mettre à jour des millions de paramètres. Cet article présente un cadre unifié pour les LLMs qui leur permet de s'auto-sélectionner des exemples in-context influents afin de composer leurs contextes ; d'auto-classer les candidats avec différentes compositions de démonstration ; d'auto-optimiser la sélection et l'ordre des démonstrations via l'apprentissage par renforcement. Plus précisément, notre méthode conçoit une tête de récupération à paramètres efficients qui génère la démonstration optimisée après entraînement avec des récompenses basées sur la propre préférence du LLM. Les résultats expérimentaux valident l'efficacité de la méthode proposée pour améliorer la performance de l'ICL. De plus, notre approche identifie et sélectionne efficacement les exemples les plus représentatifs pour la tâche actuelle, et inclut plus de diversité dans la récupération.