Seleção de Demonstrações para Aprendizado In-Contexto via Análise de Influência

Grandes Modelos de Linguagem (LLMs) demonstraram suas capacidades de Aprendizado In-Contexto (ICL), o que proporciona uma oportunidade de realizar aprendizado com poucos exemplos sem qualquer atualização de gradiente. Apesar dos seus múltiplos benefícios, o desempenho de generalização do ICL é sensível às demonstrações selecionadas. Selecionar demonstrações eficazes para ICL ainda é um desafio de pesquisa aberto. Para enfrentar esse desafio, propomos um método de seleção de demonstrações chamado InfICL, que analisa as influências das amostras de treinamento por meio de funções de influência. Identificar amostras de treinamento altamente influentes pode potencialmente ajudar a melhorar o desempenho de generalização do ICL. Para limitar o custo operacional do InfICL, empregamos apenas o LLM para gerar embeddings das amostras, sem realizar qualquer ajuste fino custoso. Realizamos estudos empíricos em múltiplos conjuntos de dados do mundo real e demonstramos os méritos do nosso InfICL em comparação com as linhas de base de estado da arte.