FactFinders no CheckThat! 2024: Refinando a Detecção de Declarações Relevantes para Verificação com LLMs através da Poda de Dados

A rápida disseminação de informações através das redes sociais e da Internet tem representado um desafio significativo para a verificação de fatos, entre outros, na identificação de afirmações dignas de verificação que os verificadores de fatos devem atentar, ou seja, filtrar afirmações que necessitam de verificação dentre um grande conjunto de sentenças. Esse desafio enfatiza a necessidade de focar na determinação da prioridade das afirmações, especificamente quais merecem ser verificadas. Apesar dos avanços nessa área nos últimos anos, a aplicação de grandes modelos de linguagem (LLMs), como o GPT, só recentemente atraiu atenção em estudos. Entretanto, muitos LLMs de código aberto permanecem pouco explorados. Portanto, este estudo investiga a aplicação de oito LLMs de código aberto proeminentes com ajuste fino e engenharia de prompts para identificar declarações relevantes para verificação a partir de transcrições políticas. Além disso, propomos uma abordagem de poda de dados em duas etapas para identificar automaticamente instâncias de dados de treinamento de alta qualidade para aprendizado eficaz. A eficiência da nossa abordagem é demonstrada por meio de avaliações no conjunto de dados em inglês como parte da tarefa de estimativa de relevância para verificação do CheckThat! 2024. Além disso, os experimentos realizados com a poda de dados demonstram que desempenho competitivo pode ser alcançado com apenas cerca de 44% dos dados de treinamento. Nossa equipe classificou-se em primeiro lugar na tarefa de estimativa de relevância para verificação no idioma inglês.