Desbloqueando el aprendizaje en contexto para conjuntos de datos naturales más allá del modelado del lenguaje

Los Grandes Modelos de Lenguaje (LLMs) exhiben Aprendizaje en Contexto (ICL), que permite al modelo realizar nuevas tareas condicionándose solo en los ejemplos proporcionados en el contexto sin actualizar los pesos del modelo. Si bien el ICL ofrece una adaptación rápida a través de tareas y dominios del lenguaje natural, su aparición es menos directa para modalidades más allá del texto. En este trabajo, descubrimos sistemáticamente propiedades presentes en los LLMs que apoyan la aparición del ICL para modelos autorregresivos y diversas modalidades promoviendo el aprendizaje de los mecanismos necesarios para el ICL. Identificamos las repeticiones exactas de tokens en las secuencias de datos de entrenamiento como un factor importante para el ICL. Tales repeticiones mejoran además la estabilidad y reducen la transitoriedad en el rendimiento del ICL. Además, enfatizamos la importancia de la dificultad de la tarea de entrenamiento para la aparición del ICL. Finalmente, aplicando nuestros nuevos conocimientos sobre la aparición del ICL, desbloqueamos capacidades de ICL para varios conjuntos de datos visuales y una tarea de clasificación EEG más desafiante.