Desafiando LLMs Além da Recuperação de Informação: Degradação do Raciocínio com Janelas de Contexto Longo

À medida que os Grandes Modelos de Linguagem (LLMs) acomodam inputs maiores, janelas de contexto que abrangem centenas de milhares ou até milhões de tokens são vistas como promissoras para uma ampla gama de aplicações. No entanto, a possível degradação da capacidade de raciocínio para inputs maiores pode comprometer sua utilidade. Este estudo introduz um novo benchmark chamado Find the Origin, que testa progressivamente a eficácia dos LLMs em uma tarefa intelectual simples conforme o tamanho da janela de contexto aumenta. O teste, realizado em 14 diferentes LLMs para análise comparativa, demonstrou que a capacidade de raciocínio depende do tamanho do input. Além disso, três testes independentes foram realizados com o modelo GPT-4 Turbo para demonstrar sua degradação no raciocínio em diferentes contextos conforme o tamanho do input aumenta.