Aprendizagem Contraste Multimodal em Contexto

O rápido crescimento do uso de Grandes Modelos de Linguagem (LLMs) destacou a importância da aprendizagem em contexto sem gradiente (ICL). No entanto, interpretar seu funcionamento interno continua sendo um desafio. Este artigo introduz um novo framework multimodal contrastivo de aprendizagem em contexto para aprimorar nossa compreensão da ICL em LLMs. Primeiramente, apresentamos uma interpretação baseada em aprendizagem contrastiva da ICL em cenários do mundo real, destacando a distância da representação chave-valor como o diferencial na ICL. Em segundo lugar, desenvolvemos um framework analítico para abordar vieses na formatação de entrada multimodal para conjuntos de dados do mundo real. Demonstramos a eficácia de exemplos de ICL onde o desempenho base é baixo, mesmo quando eles são representados em formatos não vistos. Por último, propomos uma abordagem dinâmica para ICL (Anchored-by-Text ICL) que demonstra eficácia na detecção de memes odiosos, uma tarefa onde a ICL típica enfrenta dificuldades devido a limitações de recursos. Experimentos extensivos em conjuntos de dados multimodais revelam que nossa abordagem melhora significativamente o desempenho da ICL em vários cenários, como tarefas desafiadoras e ambientes com recursos limitados. Além disso, oferece insights valiosos sobre os mecanismos da aprendizagem em contexto em LLMs. Nossas descobertas têm implicações importantes para o desenvolvimento de sistemas de IA multimodais mais interpretáveis, eficientes e robustos, especialmente em tarefas desafiadoras e ambientes com recursos limitados.