Los modelos de lenguaje grandes carecen de metacognición esencial para un razonamiento médico confiable

Los modelos de lenguaje grandes han demostrado una precisión a nivel experto en exámenes de certificación médica, lo que sugiere potencial para sistemas de apoyo a la toma de decisiones clínicas. Sin embargo, sus habilidades metacognitivas, cruciales para la toma de decisiones médicas, permanecen en gran medida inexploradas. Para abordar esta brecha, desarrollamos MetaMedQA, un punto de referencia que incorpora puntajes de confianza y tareas metacognitivas en preguntas médicas de opción múltiple. Evaluamos doce modelos en dimensiones incluyendo precisión basada en la confianza, recuperación de respuestas ausentes y recuperación de desconocidos. A pesar de la alta precisión en preguntas de opción múltiple, nuestro estudio reveló deficiencias metacognitivas significativas en todos los modelos evaluados. Los modelos consistentemente no reconocieron sus limitaciones de conocimiento y proporcionaron respuestas con confianza incluso cuando faltaban opciones correctas. En este trabajo, mostramos que los modelos actuales exhiben una desconexión crítica entre las capacidades percibidas y reales en el razonamiento médico, lo que representa riesgos significativos en entornos clínicos. Nuestros hallazgos enfatizan la necesidad de marcos de evaluación más robustos que incorporen habilidades metacognitivas, esenciales para desarrollar sistemas confiables de apoyo a la toma de decisiones clínicas potenciados por modelos de lenguaje grandes.