What question did this study set out to answer?

इस अध्ययन का उद्देश्य कम पॉजिटिव दरों पर भी पहचान प्रदर्शन को बनाए रखते हुए CT रिपोर्ट्स में सूचनाओं को स्वचालित करने के लिए एन्कोडर और डिकोडर मॉडलों का मूल्यांकन करना है।

March 12, 2026Journal of Imaging Informatics in Medicine0 citationsOpen Access

CT रिपोर्ट्स में कार्रवाई योग्य निष्कर्षों (Actionable Findings) के लिए एन्कोडर- और डिकोडर-आधारित मॉडलों का तुलनात्मक मूल्यांकन

YFYusuke FukuiShiga University of Medical Science NHNaoki HaradaShiga University of Medical Science YNYukihiro NagataniShiga University of Medical Science

Key Points

इस अध्ययन का उद्देश्य कम पॉजिटिव दरों पर भी पहचान प्रदर्शन को बनाए रखते हुए CT रिपोर्ट्स में सूचनाओं को स्वचालित करने के लिए एन्कोडर और डिकोडर मॉडलों का मूल्यांकन करना है।
1000 हेड CT रिपोर्ट्स का एक डेटासेट तैयार किया गया।
एन्कोडर मॉडल (ModernBERT-ja) और डिकोडर मॉडल (Llama-3-ELYZA-JP-8B) के प्रदर्शन की तुलना की गई।
मल्टीपल लॉस फंक्शन्स के साथ एन्कोडर पर सुपरवाइज्ड फाइन-ट्यूनिंग लागू की गई।
फ्यू-शॉट प्रॉम्प्टिंग, ज़ीरो-शॉट चेन-ऑफ-थॉट (CoT), और सुपरवाइज्ड फाइन-ट्यूनिंग का उपयोग करके डिकोडर का मूल्यांकन किया गया।
मॉडल की मजबूती का आकलन करने के लिए ट्रेनिंग डेटा में पॉजिटिव दर को व्यवस्थित रूप से घटाया गया।
एन्कोडर SFT ने 14.4% पॉजिटिव दर पर 0.870 का F1 स्कोर प्राप्त किया, जो डिकोडर के सर्वश्रेष्ठ कॉन्फ़िगरेशन (F1 = 0.717) से बेहतर था।
5% से कम पॉजिटिव दर पर एन्कोडर के प्रदर्शन में काफी गिरावट आई।
डिकोडर में कुछ डेमोंस्ट्रेशन के साथ सुधार हुआ, जिससे प्रॉम्प्टिंग में डेमोंस्ट्रेशन के क्रम का महत्व पता चला।
डिकोडर पर SFT लागू करने से F1 स्कोर बढ़कर 0.853 हो गया, जो एन्कोडर प्रदर्शन के करीब था लेकिन इसके लिए अधिक ट्रेनिंग की आवश्यकता थी।
2% पॉजिटिव दर पर कोई भी मॉडल पहचान क्षमता बनाए नहीं रख सका।

Abstract

कार्रवाई योग्य कंप्यूटेड टोमोग्राफी (CT) रिपोर्ट्स के लिए अधिसूचना वर्कफ़्लो को स्वचालित करने के उद्देश्य से, हमने ऐसे मॉडल कॉन्फ़िगरेशन की जांच की, जिन्होंने अत्यंत कम पॉजिटिव दर पर भी पहचान प्रदर्शन (detection performance) को बनाए रखा। हमने 1000 हेड CT रिपोर्ट्स का एक डेटासेट तैयार किया और एक एन्कोडर मॉडल (ModernBERT-ja) के प्रदर्शन की तुलना एक डिकोडर मॉडल (Llama-3-ELYZA-JP-8B) से की। एन्कोडर को कई लॉस फंक्शन्स का उपयोग करके सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) से गुजारा गया, जबकि डिकोडर का मूल्यांकन फ्यू-शॉट प्रॉम्प्टिंग, ज़ीरो-शॉट चेन-ऑफ-थॉट (CoT), और SFT के माध्यम से किया गया। हमने मॉडल की मजबूती का आकलन करने के लिए ट्रेनिंग डेटा में पॉजिटिव दर को व्यवस्थित रूप से घटाकर 14. 4%, 10%, 5%, और 2% कर दिया। क्लास-वेटेड फोकल लॉस के साथ एन्कोडर SFT ने 14. 4% की पॉजिटिव दर पर 0. 870 का F1 स्कोर प्राप्त किया, जो डिकोडर के सर्वश्रेष्ठ फ्यू-शॉट कॉन्फ़िगरेशन (10 डेमोंस्ट्रेशन, label0first; F1 = 0. 717) से बेहतर था। हालांकि, जब पॉजिटिव दर 5% से नीचे गिर गई, तो एन्कोडर के प्रदर्शन में काफी गिरावट आई। डिकोडर में केवल कुछ डेमोंस्ट्रेशन के साथ सुधार हुआ, और पॉजिटिव डेमोंस्ट्रेशन के क्रम ने फ्यू-शॉट प्रॉम्प्टिंग में महत्वपूर्ण भूमिका निभाई। डिकोडर पर SFT लागू करने से F1 स्कोर बढ़कर 0. 853 हो गया, जो एन्कोडर के करीब था लेकिन इसमें अधिक ट्रेनिंग लागत आई। जब पॉजिटिव दर 2% थी, तब कोई भी आर्किटेक्चर पहचान क्षमता को बनाए नहीं रख सका। सभी असंतुलित स्थितियों में ज़ीरो-शॉट CoT ने फ्यू-शॉट प्रॉम्प्टिंग की तुलना में कम प्रभावी प्रदर्शन किया। पर्याप्त पॉजिटिव मामलों के साथ, एन्कोडर SFT सबसे अच्छा प्रदर्शन देता है। जब माइनॉरिटी क्लास का सैंपलिंग करना कठिन हो, तो अतिरिक्त ट्रेनिंग के बिना डिकोडर फ्यू-शॉट प्रॉम्प्टिंग एक व्यावहारिक विकल्प है। ये परिणाम कार्रवाई योग्य निष्कर्षों के अत्यधिक असंतुलित रेडियोलॉजी-रिपोर्ट ट्राइएज के लिए एन्कोडर फाइन-ट्यूनिंग और डिकोडर प्रॉम्प्टिंग के बीच चयन का मार्गदर्शन करते हैं।

AI से पूछें

Bookmark

View Full Paper