Aprendizaje en contexto en grandes modelos de lenguaje: una encuesta integral

Esta encuesta proporciona una visión completa del aprendizaje en contexto (ICL) en grandes modelos de lenguaje (LLMs), un fenómeno en el que los modelos pueden adaptarse a nuevas tareas sin actualizaciones de parámetros al aprovechar la información relevante para la tarea dentro del contexto de entrada. Exploramos la definición y los mecanismos del ICL, investigamos los factores que contribuyen a su aparición y discutimos estrategias para optimizar y utilizar eficazmente el ICL en diversas aplicaciones. A través de una revisión sistemática de la literatura reciente, primero aclaramos qué es el ICL, diferenciándolo de los enfoques tradicionales de afinamiento y resaltando sus características únicas. Luego profundizamos en las causas subyacentes del ICL, examinando teorías que van desde el meta-aprendizaje implícito durante el preentrenamiento hasta la aparición de vectores de tarea en los LLMs. La encuesta también cubre diversos enfoques para mejorar el rendimiento del ICL, incluyendo técnicas de ingeniería de indicaciones, estrategias de selección de demostraciones y métodos para mejorar la generalización a través de tareas diversas. Además, discutimos las limitaciones y desafíos del ICL, como su sensibilidad al orden de las demostraciones y posibles sesgos. Al sintetizar los hallazgos de numerosos estudios, nuestro objetivo es proporcionar a investigadores y profesionales una comprensión clara del estado actual de la investigación sobre ICL, sus implicaciones prácticas y direcciones prometedoras para futuras investigaciones. Esta encuesta sirve como un recurso valioso para quienes buscan aprovechar las capacidades del ICL en LLMs y contribuye al discurso continuo sobre la notable adaptabilidad de estos modelos.