MedFrenchmark, ein kleiner Satz zum Benchmarking generativer LLMs im medizinischen Französisch

Generative Large Language Models (LLMs) sind in verschiedenen Bereichen, einschließlich Gesundheitswesen und Medizin, allgegenwärtig geworden. Folglich wächst das Interesse, LLMs für medizinische Anwendungen zu nutzen, was täglich zur Entstehung neuer Modelle führt. Evaluationen und Benchmarking-Rahmenwerke für LLMs sind jedoch selten, insbesondere solche, die auf medizinisches Französisch zugeschnitten sind. Um diese Lücke zu schließen, stellen wir ein minimales Benchmark vor, das aus 114 offenen Fragen besteht, die darauf ausgelegt sind, die medizinischen Fähigkeiten von LLMs in Französisch zu bewerten. Das vorgeschlagene Benchmark umfasst eine breite Palette medizinischer Bereiche und spiegelt die Komplexität realer klinischer Szenarien wider. Eine vorläufige Validierung beinhaltete das Testen von sieben weit verbreiteten LLMs mit einer Parametergröße von 7 Milliarden. Die Ergebnisse zeigten eine signifikante Leistungsschwankung, was die Bedeutung einer strengen Evaluation vor dem Einsatz von LLMs im medizinischen Umfeld unterstreicht. Zusammenfassend präsentieren wir eine neuartige und wertvolle Ressource zur schnellen Bewertung von LLMs im medizinischen Französisch. Durch Förderung größerer Verantwortlichkeit und Standardisierung hat dieses Benchmark das Potenzial, Vertrauen und Nutzen bei der Nutzung von LLMs für medizinische Anwendungen zu erhöhen.