Investigue, Interaja e Integre: Uma Estrutura Colaborativa de Agentes Proativos para Raciocínio Médico Multimodal Zero-Shot

A adoção de grandes modelos de linguagem (LLMs) na área da saúde tem atraído interesse significativo na pesquisa. No entanto, seu desempenho na saúde permanece pouco investigado e potencialmente limitado, devido a i) carecerem de conhecimento rico específico do domínio e habilidades de raciocínio médico; e ii) a maioria dos LLMs de última geração serem modelos unimodais, apenas de texto, que não podem processar diretamente entradas multimodais. Para isso, propomos uma estrutura colaborativa de raciocínio médico multimodal, MultiMedRes, que incorpora um agente aprendiz para adquirir proativamente informações essenciais de modelos especialistas específicos do domínio, para resolver problemas de raciocínio médico multimodal. Nosso método inclui três etapas: i) Investigar: o agente aprendiz primeiro decompõe problemas complexos de raciocínio médico em múltiplos subproblemas específicos do domínio; ii) Interagir: o agente então interage com modelos especialistas específicos do domínio repetindo o processo de "perguntar-responder" para obter progressivamente diferentes conhecimentos específicos do domínio; iii) Integrar: o agente finalmente integra todo o conhecimento adquirido específico do domínio para abordar com precisão o problema de raciocínio médico. Validamos a eficácia de nosso método na tarefa de resposta visual diferencial para imagens de raio-X. Os experimentos demonstram que nossa predição zero-shot alcança desempenho de última geração e até supera métodos totalmente supervisionados. Além disso, nossa abordagem pode ser incorporada em vários LLMs e LLMs multimodais para impulsionar significativamente seu desempenho.