Med-PMC: Medizinische personalisierte multimodale Beratung mit einem proaktiven Ask-First-Observe-Next-Paradigma

Die Anwendung der multimodalen großen Sprachmodelle (MLLMs) in medizinischen klinischen Szenarien bleibt wenig erforscht. Frühere Benchmarks konzentrieren sich nur auf die Fähigkeit der MLLMs im medizinischen visuellen Frage-Antworten (VQA) oder Berichterstellung und bewerten nicht die Leistung der MLLMs bei komplexen klinischen multimodalen Aufgaben. In diesem Papier schlagen wir ein neuartiges medizinisches personalisiertes multimodales Beratungsparadigma (Med-PMC) vor, um die klinische Leistungsfähigkeit der MLLMs zu evaluieren. Med-PMC schafft eine simulierte klinische Umgebung, in der die MLLMs mit einem Patientensimulator interagieren müssen, um die multimodale Informationssammlung und Entscheidungsfindung abzuschließen. Konkret wird der Patientensimulator mit personalisierten Akteuren ausgestattet, um verschiedene Patienten in realen Szenarien zu simulieren. Wir führen umfangreiche Experimente zur Bewertung von 12 Typen von MLLMs durch, die einen umfassenden Überblick über die klinische Leistung der MLLMs bieten. Wir stellten fest, dass aktuelle MLLMs es nicht schaffen, multimodale Informationen zu sammeln, und zeigen potenzielle Verzerrungen in der Entscheidungsfindung, wenn sie mit personalisierten Patientensimulatoren konsultiert werden. Weiterführende Analysen zeigen die Wirksamkeit von Med-PMC und deren Potenzial, die Entwicklung robuster und zuverlässiger klinischer MLLMs zu leiten. Code und Daten sind verfügbar unter https://github.com/LiuHC0428/Med-PMC.