Modèle de langage large multimodal pré-entraîné améliore le diagnostic dermatologique avec SkinGPT-4

Résumé Les grands modèles de langage (LLM) montrent un potentiel considérable pour faire progresser le diagnostic médical récemment, en particulier dans le diagnostic dermatologique, une tâche très importante car les maladies de la peau et du tissu sous-cutané figurent parmi les principaux contributeurs au fardeau mondial des maladies non mortelles. Nous présentons ici SkinGPT-4, un système interactif de diagnostic dermatologique basé sur des grands modèles de langage multimodaux. Nous avons aligné un transformeur de vision pré-entraîné avec un LLM nommé Llama-2-13b-chat en collectant une vaste collection d'images de maladies cutanées (comprenant 52 929 images disponibles publiquement et propriétaires) ainsi que des concepts cliniques et des notes de médecins, et en concevant une stratégie d'entraînement en deux étapes. Nous avons évalué quantitativement SkinGPT-4 sur 150 cas réels avec des dermatologues certifiés. Avec SkinGPT-4, les utilisateurs peuvent télécharger leurs propres photos de peau pour un diagnostic, et le système peut évaluer de manière autonome les images, identifier les caractéristiques et catégories des affections cutanées, effectuer une analyse approfondie et fournir des recommandations de traitement interactives.