Analisando a Mudança de Representação de Finetuning para Direcionamento de LLMs Multimodais

Key Points

• A mudança de representação afeta negativamente o desempenho de modelos de linguagem multimodais, dificultando a eficácia das tarefas.
• Evidências-chave mostram que o finetuning resulta em mudanças significativas de representação nas saídas do modelo.
• A análise utiliza uma abordagem sistemática para avaliar os impactos do finetuning na representação do modelo.
• As implicações podem melhorar o desempenho futuro de modelos de linguagem multimodais, justificando uma exploração adicional.

Abstract