L'apprentissage en contexte comme apprentissage à usage général : une enquête complète et de nouvelles perspectives

L'apprentissage en contexte (ICL) représente une capacité puissante des grands modèles de langage (LLM), permettant une adaptation dynamique des tâches lors de l'inférence sans nécessiter d'ajustements paramétriques — un cadre fondé sur les principes de l'apprentissage méta basé sur le modèle (MBML). À l'origine limité à l'exécution d'instructions et à la complétion de motifs en faible nombre d'exemples, l'ICL a désormais largement dépassé son champ initial. Il agit actuellement comme catalyseur pour les avancées des LLM dans les architectures agentiques, les capacités de raisonnement et les modules de planification, tout en évoluant simultanément vers un moteur d'apprentissage polyvalent capable d'une adaptation rapide entre tâches, paradigmes et modalités. S'appuyant sur cette progression, nous présentons une taxonomie multidimensionnelle de l'ICL, révélant ainsi des schémas émergents qui facilitent un moteur d'apprentissage à usage général. Contrairement aux enquêtes antérieures centrées sur la manière d'utiliser l'ICL, ce travail examine également pourquoi l'ICL émerge, en reliant son apparition aux incitations du système externe qui la façonnent. L'analyse critique des benchmarks existants met en lumière des limitations dans les méthodologies d'évaluation et des défis non résolus, incluant l'incertitude concernant le périmètre de généralisation, la gestion efficace de la mémoire et de l'échelle du contexte, ainsi que la forte demande en données. En synthétisant les progrès récents et les lacunes persistantes, cette enquête offre une base structurée pour les recherches futures, en insistant sur la nécessité de systèmes ICL évolutifs, robustes et polyvalents.