Prompt-Engineering für Konsistenz und Zuverlässigkeit mit der evidenzbasierten Leitlinie für LLMs

Zusammenfassung Der Einsatz großer Sprachmodelle (LLMs) in der klinischen Medizin erlebt derzeit einen Aufschwung. Die effektive Übertragung des relevanten theoretischen Wissens der LLMs aus der Informatik auf deren Anwendung in der klinischen Medizin ist entscheidend. Prompt-Engineering hat sich in diesem Zusammenhang als eine vielversprechende Methode erwiesen. Um die Anwendung von Prompt-Engineering bei LLMs zu untersuchen und die Zuverlässigkeit von LLMs zu bewerten, wurden verschiedene Arten von Eingabeaufforderungen entworfen und genutzt, um verschiedene LLMs nach ihrer Übereinstimmung mit den evidenzbasierten Leitlinien der American Academy of Orthopedic Surgeons (AAOS) zur Osteoarthritis (OA) zu befragen. Jede Frage wurde 5-mal gestellt. Wir verglichen die Konsistenz der Ergebnisse mit den Leitlinien über verschiedene Evidenzstufen hinweg für verschiedene Prompts und bewerteten die Zuverlässigkeit der verschiedenen Prompts durch mehrfache Befragungen. gpt-4-Web mit ROT-Prompting zeigte die höchste Gesamtkonsistenz (62,9%) und eine signifikante Leistung bei starken Empfehlungen mit einer Gesamtkonsistenz von 77,5%. Die Zuverlässigkeit der verschiedenen LLMs für verschiedene Prompts war nicht stabil (Fleiss-Kappa reichte von −0,002 bis 0,984). Diese Studie zeigte, dass verschiedene Prompts unterschiedliche Effekte bei verschiedenen Modellen hatten, wobei der gpt-4-Web mit ROT-Prompt am konsistentesten war. Ein angemessener Prompt kann die Genauigkeit von Antworten auf professionelle medizinische Fragen verbessern.