MoE-Adapters++: نحو تعلم مستمر أكثر كفاءة لنماذج الرؤية واللغة عبر محولات مزيج الخبراء الديناميكي

في هذه الورقة، نقترح أولاً MoE-Adapters، إطار تدريب فعال من حيث المعلمات لتخفيف مشاكل النسيان طويل الأمد في التعلم التدريجي مع نماذج الرؤية واللغة (VLM). يستفيد MoE-Adapters من الموجهات التي تضاف تدريجياً لتنشيط ودمج محولات الخبراء الحصرية من مجموعة خبراء ثابتة محددة مسبقًا، مما يمكن CLIP المدرب مسبقًا من التكيف بكفاءة مع المهام الجديدة. للحفاظ على قدرة VLM على التنفيذ بدون تدريب مسبق (zero-shot)، تم تقديم محدد تلقائي تمييزي للتوزيع (DDAS) يقوم بتوجيه البيانات الداخلة ضمن التوزيع وخارج التوزيع تلقائيًا إلى MoE-Adapters وCLIP الأصلي على التوالي. ومع ذلك، الاعتماد على مجموعة خبراء ثابتة ومحدد توزيع منفصل قد يؤدي إلى تكرار المعلمات وزيادة تعقيد التدريب. استجابة لذلك، نوسع إطار MoE-Adapters++ من خلال تقديم محولات MoE ديناميكية، والتي تسمح بمشاركة الخبراء بشكل تكيفي أثناء عملية التعلم المستمر. بالإضافة إلى ذلك، يقترح محدد تلقائي للتضمين الكامن (LEAS) الذي يدمج اختيار التوزيع داخل CLIP لإنشاء هندسة أكثر توحيدًا. تُظهر التجارب المكثفة عبر إعدادات متنوعة أن الطريقة المقترحة تتفوق باستمرار على الأساليب السابقة الرائدة مع تحسين كفاءة التدريب في الوقت ذاته.