تعديل المطالبات بدون تحيّز في نموذج الرؤية واللغة بدون تعليقات توضيحية

أظهر تعديل المطالبات في نماذج الرؤية واللغة (VLMs) مثل CLIP القدرة على التكيف السريع مع مهام مختلفة لاحقة. ومع ذلك، تشير الدراسات الحديثة إلى أن نماذج VLM المعدلة قد تعاني من مشكلة الترابطات الزائفة، حيث يعتمد النموذج على ميزات زائفة (مثلاً الخلفية والنوع) في البيانات. قد يؤدي ذلك إلى تدني متانة النموذج عند التعامل مع بيانات خارج التوزيع. الطرق التقليدية لإزالة الترابطات الزائفة عادةً ما تتطلب معرفة تسميات الصفات الزائفة لكل عينة، وهو أمر صعب في الواقع. في هذا العمل، نستكشف تحسين متانة المجموعات لتعديل المطالبات في نماذج VLM بدون الاعتماد على التعليقات التوضيحية اليدوية للميزات الزائفة. نلاحظ قدرة نماذج VLM على التعرف على الصور بشكل صفر-طلقة ونستخدم هذه القدرة لتحديد الميزات الزائفة، متجنبين بذلك تكلفة التعليقات اليدوية. من خلال الاستفادة من تعليقات توضيحية زائفة للصفات الزائفة، نقترح أيضًا طريقة لضبط أوزان التدريب لمجموعات مختلفة تلقائيًا. تُظهر التجارب الواسعة أن نهجنا يحسّن بكفاءة دقة أسوأ مجموعة على مجموعات بيانات CelebA وWaterbirds وMetaShift، محققًا أفضل فجوة متانة بين دقة أسوأ مجموعة والدقة الإجمالية.