Die falsche Hoffnung der aktuellen Ansätze zur erklärbaren künstlichen Intelligenz im Gesundheitswesen

Die Black-Box-Natur der aktuellen künstlichen Intelligenz (KI) hat bei einigen die Frage aufgeworfen, ob KI erklärbar sein muss, um in risikoreichen Situationen wie der Medizin eingesetzt zu werden. Es wurde argumentiert, dass erklärbare KI Vertrauen beim Gesundheitspersonal schaffen, Transparenz im Entscheidungsprozess der KI bieten und potenziell verschiedene Arten von Verzerrungen mindern wird. In diesem Standpunkt vertreten wir die Auffassung, dass dieses Argument eine falsche Hoffnung für erklärbare KI darstellt und dass aktuelle Erklärbarkeitsmethoden wahrscheinlich diese Ziele für die patientenbezogene Entscheidungsunterstützung nicht erreichen werden. Wir geben einen Überblick über aktuelle Erklärbarkeitsmethoden und heben hervor, wie verschiedene Fehlerfälle Probleme bei der Entscheidungsfindung für einzelne Patienten verursachen können. In Ermangelung geeigneter Erklärbarkeitsmethoden plädieren wir für eine rigorose interne und externe Validierung von KI-Modellen als direkteren Weg zur Erreichung der oft mit Erklärbarkeit assoziierten Ziele und warnen davor, Erklärbarkeit als Voraussetzung für klinisch eingesetzte Modelle zu fordern.