Leistung großer Sprachmodelle und klinische Denkaufgaben

In dieser Querschnittsstudie von 21 LLMs erzielten fortschrittliche LLMs eine hohe Genauigkeit bei der abschließenden Diagnosestellung, zeigten jedoch eine schlechte Leistung bei der Erstellung von Differentialdiagnosen und beim Umgang mit Unsicherheit im Vergleich zu anderen Denkphasen. Das PrIME-LLM-Rahmenwerk bot eine stärkere Differenzierung als die Rohgenauigkeit und zeigte kritische Denklücken auf, die durch traditionelle Benchmarks verborgen bleiben. Trotz versionsbasierter Verbesserungen und Vorteilen bei auf Denkprozesse optimierten Modellen haben handelsübliche LLMs noch nicht die für einen sicheren Einsatz erforderliche Intelligenz erreicht und sind weiterhin eingeschränkt in der Demonstration fortgeschrittener klinischer Denkfähigkeit.