Apprenons pas à pas : améliorer la capacité d'apprentissage en contexte avec l'apprentissage par curriculum

L'ordre des démonstrations, qui est une stratégie importante pour l'apprentissage en contexte (ICL), peut influencer de manière significative les performances des grands modèles de langage (LLMs). Cependant, la plupart des approches actuelles d'ordre nécessitent des connaissances supplémentaires et le calcul de similarités. Nous prônons l'apprentissage par curriculum en contexte à quelques exemples (ICCL), une méthode simple mais efficace d'organisation des démonstrations pour l'ICL, qui implique une augmentation progressive de la complexité des démonstrations dans l'invite durant le processus d'inférence. Nous avons ensuite conçu trois expériences pour discuter de l'efficacité de l'ICCL, du mécanisme de formation de la capacité ICCL des LLMs, et de l'impact des sujets d'ordre. Les résultats expérimentaux démontrent que l'ICCL, développé pendant la phase d'instruction-tuning, est efficace pour les LLMs open source. De plus, les LLMs montrent une capacité plus faible que les humains à discerner les niveaux de difficulté des démonstrations. Nous publions notre code sur https: //github. com/61peng/curriₗearning.