نماذج الرؤية واللغة المدمجة تُمكّن التحليل الآلي الفعّال والقابل للتفسير لتصوير OCT من خلال التعلم متعدد الوسائط المحدد للطبقات

يتطلب ترجمة التوقيعات التشريحية الدقيقة لأمراض الشبكية من مسح OCT B-scans إلى سرد سريري واضح ودقيق نماذج ذكاء اصطناعي تدمج بسلاسة الخصائص البصرية مع الخبرة المتخصصة. قمنا بتجميع مجموعة بيانات متعددة الوسائط تضم 40,000 مسح OCT B-scans من مستودعات عامة ومجموعات سريرية خاصة، كل منها مرتبط بملخصات موثقة من خبراء تغطي ست حالات: وذمة البقعة السكرية، اعتلال الشبكية السكري، الضمور الجغرافي، الترسبات، تكون أوعية دموية مشيمية مرضية، وشبكية صحية. نقدم LO-VLM، نموذج رؤية-لغة مضغوط (247 مليون معلمة) يغرس التوجيه التشريحي في كل من المُشفّر والمُفكِّك للنص لتوليد ملخصات حرة وتصنيف أمراض متعددة الفئات. أظهرت المقارنات ضد نماذج متقدمة مثل RetinaVLM وLLaVA-Med ونموذج ViT بصري فقط أداءً متفوقًا. في تقييم أعمى من قبل ثلاثة أخصائيي شبكية معتمدين، حصلت السرديات المولدة من LO-VLM على متوسط = 8.5 (انحراف معياري = 1.15) من 10، مقارنة بمتوسط = 5.5 (انحراف معياري = 1.13) لـ RetinaVLM (p < 0.0001). في التقييمات الكمية، حقق LO-VLM تشابه SBERT بقيمة 0.803 وBERTScore F1 بقيمة 0.715، مما يمثل تحسناً بنسبة 8.2% و28.8% مقارنة بمعايير VLM المتخصصة. في تصنيف الأمراض، بلغ دقة LO-VLM 96% (F1 = 96%)، متفوقًا على ViT بنسبة 13% ومتجاوزًا معايير VLM الطبية بأكثر من 62%. من خلال التوفيق بين القابلية للتفسير والكفاءة الحسابية، يؤسس LO-VLM نموذجًا جديدًا للنماذج الذكية الفعالة في تفسير OCT.