मेडिकल इमेजिंग में मल्टीमोडल बड़े भाषा मॉडल्स की उपयोगिता पर एक प्रारंभिक जांच

मल्टीमोडल बड़े भाषा मॉडल्स (MLLMs) में हाल के विकास ने विभिन्न मेडिकल इमेजिंग क्षेत्रों में उनके संभावित अनुप्रयोगों के प्रति महत्वपूर्ण रुचि उत्पन्न की है। एक ओर, इन जेनरेटिव मॉडलों का उपयोग यथार्थ दिखने वाले मेडिकल इमेज डेटा को संश्लेषित करने के लिए करने की प्रवृत्ति है, जबकि दूसरी ओर, डेटा के एक पूल में सिंथेटिक इमेज डेटा की पहचान करने की क्षमता भी अत्यंत महत्वपूर्ण है। इस अध्ययन में, हमने मेडिकल इमेज डेटा की दो मॉडैलिटी का उपयोग करते हुए Gemini (gemini-1.0-pro-vision-latest) और GPT-4V (gpt-4-vision-preview) मॉडलों की मेडिकल इमेज विश्लेषण की क्षमता का पता लगाया। सिंथेटिक और वास्तविक इमेजिंग डेटा का उपयोग करते हुए, दोनों Gemini AI और GPT-4V को पहले वास्तविक बनाम सिंथेटिक छवियों को वर्गीकृत करने के लिए उपयोग किया गया, उसके बाद इनपुट छवियों की व्याख्या और विश्लेषण किया गया। प्रयोगात्मक परिणाम दर्शाते हैं कि दोनों Gemini और GPT-4 इनपुट छवियों की कुछ व्याख्या करने में सक्षम थे। इस विशिष्ट प्रयोग में, वर्गीकरण कार्य पर Gemini ने GPT-4V की तुलना में थोड़ा बेहतर प्रदर्शन किया। इसके विपरीत, GPT-4V से संबंधित प्रतिक्रियाएँ अधिकांशतः सामान्य प्रकृति की थीं। इस कार्य में प्रस्तुत हमारी प्रारंभिक जांच MLLMs की रेटिनल फंडोस्कोप और लंग एक्स-रे छवियों के वर्गीकरण और व्याख्या में सहायता की संभावना पर अंतर्दृष्टि प्रदान करती है। हम मेडिकल इमेज विश्लेषण में विशेष कार्यों के लिए MLLMs पर प्रारंभिक जांच से संबंधित प्रमुख सीमाओं की भी पहचान करते हैं।