مزيج من خبراء LoRA

لقد حاز LoRA على قبول واسع في الضبط الدقيق للنماذج الكبيرة المدربة مسبقًا لتلبية مجموعة متنوعة من المهام اللاحقة، مما أظهر فعالية وكفاءة ملحوظة، وبالتالي رسخ مكانته كواحدة من أكثر تقنيات الضبط الدقيق شيوعًا. نظرًا للطبيعة المعيارية لوصلات LoRA القابلة للإضافة والتشغيل، فقد استكشف الباحثون دمج عدة LoRA لتمكين النماذج من التميز عبر مهام لاحقة متعددة. ومع ذلك، تواجه الطرق الحالية لدمج LoRA تحديات داخلية. قد ينتج عن الدمج الحسابي المباشر فقدان القدرات التوليدية للنموذج الأصلي المدرب مسبقًا أو الهوية المميزة لـ LoRA، مما يؤدي إلى نتائج دون المستوى الأمثل. من ناحية أخرى، يظهر الدمج القائم على الضبط المرجعي قيودًا فيما يتعلق بالمرونة اللازمة للجمع الفعال بين عدة LoRA. استجابة لهذه التحديات، تقدم هذه الورقة نهج مزيج خبراء LoRA (MoLE)، الذي يستفيد من التحكم الهرمي والاختيار الحر للفروع. لا يحقق نهج MoLE أداءً متفوقًا في دمج LoRA مقارنة بالدمج الحسابي المباشر فحسب، بل يحتفظ أيضًا بالمرونة الضرورية للجمع الفعال بين LoRA. تدعم التقييمات التجريبية الموسعة التي أُجريت في مجالي معالجة اللغة الطبيعية (NLP) والرؤية واللغة (V&L) فعالية MoLE.