Aprendizagem Implícita no Contexto

A Aprendizagem no Contexto (ICL) capacita grandes modelos de linguagem (LLMs) a se adaptarem a tarefas inéditas durante a inferência ao prefixar alguns exemplos de demonstração antes das consultas de teste. Apesar de sua versatilidade, a ICL implica em sobrecarga computacional e de memória substancial em comparação à aprendizagem zero-shot e é suscetível à seleção e ordem dos exemplos de demonstração. Neste trabalho, introduzimos a Aprendizagem Implícita no Contexto (I2CL), um paradigma inovador que resolve os desafios associados à ICL tradicional absorvendo os exemplos de demonstração dentro do espaço de ativação. O I2CL gera inicialmente uma representação vetorial condensada, chamada vetor de contexto, a partir dos exemplos de demonstração. Em seguida, integra o vetor de contexto durante a inferência ao injetar uma combinação linear do vetor de contexto e ativações da consulta nos fluxos residuais do modelo. A avaliação empírica em nove tarefas do mundo real, abrangendo três arquiteturas de modelos, demonstra que o I2CL alcança desempenho few-shot com custo zero-shot e apresenta robustez contra variações nos exemplos de demonstração. Ademais, o I2CL possibilita uma nova representação de "task-ids", aprimorando a detecção de similaridade de tarefas e permitindo transferência de aprendizagem eficaz. Fornecemos uma análise abrangente do I2CL, oferecendo insights mais profundos sobre seus mecanismos e implicações mais amplas para a ICL. O código-fonte está disponível em: https://github.com/LzVv123456/I2CL.