PRoLoRA: التدوير الجزئي يعزز كفاءة المعاملات في LoRA

مع التوسع السريع في نماذج اللغة الكبيرة (LLMs)، أصبح تشغيل العديد من إعدادات LoRA في نفس الوقت أمراً غير عملي بشكل متزايد، مما يؤدي إلى تكاليف باهظة ويستلزم وجود طرق تحسين أفضل أكثر كفاءة في استخدام المعاملات. في هذا العمل، نقدم التكييف منخفض الرتبة المعزز بالتدوير الجزئي (PRoLoRA)، وهو آلية مشاركة داخل الطبقة تتضمن أربعة مكونات أساسية: تقليل البث، تعزيز التدوير، تحسين المشاركة الجزئية، واستراتيجية تهيئة معدلة. باعتباره مجموعة شاملة لـ LoRA، يحتفظ PRoLoRA بمزاياه، ويتغلب بفعالية على عيوب طرق مشاركة المعاملات المماثلة مع سعة نموذج متفوقة، وقابلية تطبيقية عملية، وتوافق واسع. توضح التجارب العملية الكفاءة العالية بشكل ملحوظ لـ PRoLoRA في كل من سيناريوهات ميزانية المعاملات المستهدفة والأداء، وقابليته للتوسع مع نماذج LLMs الأكبر حجماً. الجدير بالذكر أن PRoLoRA يتفوق على LoRA في عدة مجموعات بيانات لضبط التعليمات مع عدد معاملات قابلة للتدريب أقل بمرّة واحدة. بعد ذلك، أُجري تحليل للاستغناء للتحقق من ضرورة المكونات الفردية وإبراز تفوق PRoLoRA على ثلاثة متغيرات محتملة. نأمل أن تساهم الكفاءة الأعلى بوضوح في جعله بديلاً صديقاً للموارد مقارنة مع LoRA.