Explorando os Limites da Inferência Física Baseada em LLM de Granularidade Fina via Intervenções de Remoção de Premissas

Modelos de linguagem podem gerar informações falsas ao realizar raciocínio matemático complexo e detalhado. A física oferece um domínio rico para avaliar capacidades de raciocínio matemático onde o contexto físico confere o uso de símbolos que precisam satisfazer semânticas complexas (por exemplo, unidades, ordem tensorial), resultando em casos em que a inferência pode ser algebricamente coerente, mas não física. Neste trabalho, avaliamos a capacidade dos Modelos de Linguagem (LMs) para realizar raciocínio matemático e físico de granularidade fina usando um conjunto de dados selecionado que abrange múltiplas notações e subdomínios da Física. Melhoramos os resultados zero-shot usando exemplos sintéticos no contexto, e demonstramos degradação não linear da qualidade da derivação com o aumento da força da perturbação via omissão progressiva de premissas de apoio. Constatamos que o raciocínio matemático dos modelos não é informado pela física neste cenário, onde o contexto físico é predominantemente ignorado em favor da engenharia reversa das soluções.