تطوير القدرات الطبية متعددة الأنماط لجيميني

تتطلب العديد من المهام السريرية فهماً للبيانات المتخصصة، مثل الصور الطبية والجينوميات، وهو ما لا يتوفر عادة في نماذج متعددة الأنماط واسعة الاستخدام العام. بناءً على نماذج جيميني متعددة الأنماط، قمنا بتطوير عدة نماذج ضمن عائلة Med-Gemini الجديدة التي ترث القدرات الأساسية لجيميني وهي مُحسّنة للاستخدام الطبي عبر التخصيص الدقيق باستخدام بيانات الأشعة ثنائية وثلاثية الأبعاد، والهيستوباثولوجي، وطب العيون، وأمراض الجلد، والبيانات الجينومية. يضع Med-Gemini-2D معيارًا جديدًا لتوليد تقارير أشعة الصدر (CXR) المعتمدة على الذكاء الاصطناعي وفقًا لتقييم الخبراء، متجاوزًا أفضل النتائج السابقة عبر مجموعتي بيانات منفصلتين بهامش مطلق قدره 1% و12%، حيث تم تقييم 57% و96% من تقارير الذكاء الاصطناعي للحالات الطبيعية، و43% و65% للحالات غير الطبيعية على أنها "معادلة أو أفضل" من تقارير أطباء الأشعة الأصلية. نُظهر لأول مرة استخدام نموذج كبير متعدد الأنماط لتوليد التقارير بناءً على صور الأشعة المقطعية ثلاثية الأبعاد (CT) باستخدام Med-Gemini-3D، حيث اعتُبرت 53% من تقارير الذكاء الاصطناعي مقبولة سريريًا، على الرغم من الحاجة إلى مزيد من البحوث لتحقيق جودة تقارير توازي تقارير أطباء الأشعة الخبراء. بالإضافة إلى توليد التقارير، يتجاوز Med-Gemini-2D الأداء الأفضل السابق في الإجابة البصرية عن الأسئلة (VQA) لأشعة الصدر، ويحقق أداءً جيدًا في تصنيف أشعة الصدر والإجابة البصرية عن الأسئلة في الأشعة، متجاوزًا أكثر النماذج تقدمًا أو الخطوط الأساس في 17 من أصل 20 مهمة. في تصنيف صور الهيستوباثولوجي، وطب العيون، وأمراض الجلد، يتجاوز Med-Gemini-2D الخطوط الأساس في 18 من أصل 20 مهمة ويقترب من أداء النماذج المصممة خصيصًا لكل مهمة. خارج نطاق التصوير، يتفوق Med-Gemini-Polygenic على الطريقة المعتمدة على سجل الخطر المتعدد الجينات الخطي القياسي لتوقع مخاطر الأمراض ويتعمم على الأمراض المرتبطة جينيًا والتي لم يُدرَّب عليها مطلقًا. وعلى الرغم من الحاجة إلى مزيد من التطوير والتقييم في المجال الطبي الحساس للسلامة، تُبرز نتائجنا الإمكانيات الكبيرة لـMed-Gemini عبر مجموعة واسعة من المهام الطبية.