استكشاف بنية جديدة لضبط المعلمات بكفاءة في سيناريوهات تعدد المهام باستخدام SLoRA

نقترح بنية MoE لـ LoRA المحسنة (تكييف منخفض الرتبة)، SLoRA (البنية المحسنة لـ LoRA MoE)، التي تهدف إلى معالجة المشكلة الرئيسية لضبط المعلمات بكفاءة في سيناريوهات تعدد المهام. بالنظر إلى التكلفة العالية لإعادة الضبط الكامل التقليدي مع زيادة حجم المعلمات في نماذج اللغة المرئية، وقيود LoRA كطريقة شائعة لضبط المعلمات بكفاءة (PEFT) في تعدد المهام، مثل القابلية المحدودة للتكيف والصعوبة في التقاط أنماط المهام المعقدة، بالإضافة إلى تحديات النسيان الكارثي وتجزيء المعرفة التي تواجه الأبحاث الحالية في دمج آليات الخبراء المختلطة (MoE) في LoRA، يستخدم SLoRA تحسين قيود التعامد لتقليل الاضطراب على المعرفة القائمة من خلال تهيئة مساحة حل القيود، مما يخفف من النسيان الكارثي (معدل احتفاظ بدقة المهام القديمة يصل إلى 92.4٪، بزيادة 16.1٪ عن LoRA)، وبنية MoE محسنة تشمل خبراء عامين (يحافظون على المعرفة المدربة مسبقًا) وخبراء خاصين بالمهام (توجيه ديناميكي لمهام التكيف) لتعزيز القابلية للتكيف في تعدد المهام. أظهرت النتائج التجريبية أن دقة SLoRA في مهام التفكير السليم أعلى بنسبة 9.0٪ من LoRA و3.7٪ من AdaLoRA على مجموعة بيانات WSC، ونسبة F1 أعلى بنسبة 7.7٪ من LoRA و2.9٪ من AdaLoRA على مجموعة بيانات CommonsenseQA؛ وفي المهام متعددة الوسائط، بلغ متوسط نتيجته أعلى بنسبة 15.3٪ من LoRA، مما يظهر تفوقًا ملحوظًا على الطرق الموجودة.