وداعًا لاستقراء الطول، سياق لا نهائي بدون تدريب بنطاق انتباه محدود

الحد الأقصى لطول السياق المدعوم يمثل عقبة حرجة تحد من التطبيق العملي لنموذج اللغة الكبير (LLM). على الرغم من أن طرق استقراء الطول الحالية يمكنها تمديد سياق نماذج اللغة إلى ملايين الرموز، إلا أن هذه الطرق جميعها لها حد علوي صريح. في هذا العمل، نقترح LongCache، وهو نهج بدون تدريب يمكن LLM من دعم سياق لا نهائي بنطاق سياق محدود، من خلال اختيار ذاكرة التخزين المؤقت للسياق الكامل والتكامل بدون تدريب. هذا يحرر نماذج اللغة الكبيرة فعليًا من مشكلة استقراء الطول. نتحقق من LongCache على LongBench وL-Eval ونُظهر أن أدائه يعادل الآليات التقليدية للانتباه الكامل. علاوة على ذلك، قمنا بتطبيق LongCache على نماذج اللغة الرئيسية مثل LLaMA3 وMistral-v0.3، مما مكنها من دعم أطوال سياق تصل إلى 400 ألف في اختبارات Needle-In-A-Haystack. سنحسن قريبًا كفاءة LongCache من خلال تحسينات موجهة لوحدات معالجة الرسوميات (GPU).