LINS: Uma estrutura geral de perguntas e respostas médicas para aprimorar a qualidade e credibilidade das respostas geradas por LLMs

Grandes modelos de linguagem podem aliviar a carga de trabalho de clínicos e pacientes, mas suas respostas frequentemente incluem evidências fabricadas, conhecimento desatualizado e especificidade médica insuficiente. Introduzimos uma estrutura geral de perguntas e respostas aumentada por recuperação que continuamente reúne conhecimento médico atualizado e de alta qualidade e gera respostas com evidências rastreáveis. Aqui mostramos que essa abordagem melhora significativamente a validade das evidências, a expertise médica e a atualidade das respostas dos grandes modelos de linguagem, aprimorando assim sua qualidade e credibilidade geral. A avaliação contra 15.530 perguntas objetivas, juntamente com dois conjuntos de testes clínicos organizados por médicos que abrangem práticas médicas baseadas em evidências e explicação de prescrições médicas, confirma as melhorias. Em testes cegos, residentes médicos indicaram assistência significativa em 87,00% dos cenários médicos baseados em evidências, e usuários leigos consideraram útil em 90,09% das explicações de prescrições médicas. Esses achados demonstram uma via prática para assistentes linguísticos confiáveis e de uso geral para aplicações clínicas. Para realizar plenamente o valor potencial dos LLMs em aplicações clínicas, são necessários métodos eficazes para aprimorar sua qualidade e credibilidade. Aqui, os autores apresentam o LINS, uma estrutura para melhorar respostas médicas de LLMs integrando evidências atualizadas e apoiando tarefas clínicas, e a validam por meio de novos conjuntos de dados organizados por médicos e grandes ensaios com usuários.