R-LoRA: لورا متعددة الرؤوس العشوائية للتعلم المتعدد المهام بكفاءة

إن ضبط نماذج اللغة الكبيرة (LLMs) بشكل دقيق مكلف حسابيًا، ويوفّر التكيف منخفض الرتبة (LoRA) حلاً فعالًا من حيث التكلفة من خلال تقريبات لتحديث الأوزان باستخدام مصفوفات منخفضة الرتبة. في السيناريوهات الواقعية، يتم ضبط نماذج اللغة الكبيرة على بيانات من مجالات متعددة لأداء مهام عبر حقول مختلفة، مما يُجسّد التعلم المتعدد المهام (MTL). غالبًا ما يُظهر LoRA أداءً أقل في مثل هذه السيناريوهات المعقدة. لتعزيز قدرة LoRA في التعلم المتعدد المهام، نقترح R-LoRA، الذي يدمج التعدد العشوائي متعدد الرؤوس. يُنوع التعدد العشوائي متعدد الرؤوس مصفوفات الرؤوس من خلال إسقاط متعدد الرؤوس وتهيئة عشوائية متعددة الرؤوس، مما يمكّن من تعلم أكثر كفاءة للميزات الخاصة بالمهام مع الحفاظ على تمثيل المعرفة المشتركة. لا تحسن طريقتنا الأداء في MTL فقط، بل تقلل أيضًا من استخدام ذاكرة وحدة معالجة الرسومات ووقت التدريب. تُظهر التجارب أن مكاسب R-LoRA نابعة من زيادة التنوع في مصفوفات الرؤوس، مما يُبرهن على فعاليتها للتعلم المتعدد المهام. الكود متاح على https://github.com/jinda-liu/R-LoRA