mLoRA: تحسين إعدادات LoRA عبر التوازي الخطي عالي الكفاءة في وحدات معالجة الرسوميات المتعددة

أظهرت نماذج اللغة الكبيرة القائمة على المحولات أداءً ممتازًا عبر مجالات متنوعة، خاصة في نمط التدريب الناشئ المتمثل في التدريب المسبق ثم التخصيص الدقيق. تُعد LoRA طريقة فعالة من حيث المعلمات لضبط النماذج بدقة، وتستخدم عادةً لتكييف نموذج اللغة الأساسي مع مهام متعددة لاحقة. علاوة على ذلك، تتيح منصات نماذج اللغة للمطورين ضبط نماذج متعددة وتطوير تطبيقات متخصصة متعددة المجالات في وقت واحد. ومع ذلك، تعاني طرق التوازي النموذجي القائمة من عبء اتصال مرتفع واستغلال غير فعال لوحدات معالجة الرسوميات. في هذه الورقة، نقدم mLoRA، وهو نظام ضبط دقيق فعال من حيث التوازي مصمم لتدريب عدة LoRA عبر وحدات معالجة الرسوميات والأجهزة. يقدم mLoRA مخطط توازي خيطي جديد يتعرف على LoRA، يقوم بتوزيع محولات LoRA ومراحل الضبط الدقيقة المميزة لها عبر وحدات معالجة الرسوميات والأجهزة بكفاءة، إلى جانب مشغل جديد فعال لـ LoRA لتحسين استغلال وحدات معالجة الرسوميات. تُظهر تقييماتنا الواسعة أن mLoRA يمكنه تقليل متوسط وقت إتمام مهمة الضبط الدقيق بشكل كبير، مثلاً بنسبة 30٪ مقارنةً بأساليب متقدمة مثل FSDP. الأهم من ذلك، يتيح mLoRA الضبط الدقيق المتزامن لنماذج أكبر، مثلاً نموذجين Llama-2-13B على أربع وحدات NVIDIA RTX A6000 بسعة 48GB، وهو ما لا يمكن تحقيقه باستخدام FSDP بسبب متطلبات الذاكرة العالية. لذلك، لا يزيد mLoRA من كفاءة الضبط الدقيق فحسب، بل يجعله أكثر وصولاً على وحدات معالجة الرسوميات ذات التكلفة الفعالة.