LoCoCo: تقنيات الالتفاف المُدخلة لضغط السياق الطويل

تتناول هذه الورقة البحثية عقبة الذاكرة في معالجة تسلسلات السياق الطويلة في نماذج اللغة الكبيرة (LLMs)، من خلال تقديم نهج مبتكر يُدعى "تقنيات الالتفاف المُدخلة لضغط السياق الطويل (LoCoCo)". يستخدم LoCoCo ذاكرة تخزين مؤقتة من نوع المفتاح-القيمة (KV) بحجم ثابت فقط، ويمكنه تعزيز الكفاءة في مرحلتي الاستدلال والتعديل الدقيق. بخلاف الطرق السابقة التي تُفقد أزواج المفتاح-القيمة اعتمادًا على قواعد تقريبية، يستفيد LoCoCo من تقنية دمج تكيفية تعتمد على البيانات، تمزج بين أزواج المفتاح-القيمة السابقة والرموز الواردة لتقليل فقدان المعلومات السياقية وضمان نمذجة دقة الانتباه. يتحقق هذا الإدماج عبر حقن نوى التفاف أحادية البعد تحسب بطرق ديناميكية أوزان المزج لكل فتحة تخزين مؤقتة للمفتاح-القيمة. صُمم LoCoCo ليتوافق بشكل واسع مع أُطُر نماذج اللغة الكبرى الموجودة، ويسمح بتكامل "سهل الإدراج" دون الحاجة لتعديلات بنيوية، مع تحميل ضئيل على عملية الضبط الدقيق. تظهر التجارب أن LoCoCo يحافظ على أداء متميز باستمرار عبر أطوال سياق مختلفة ويحقق معدل ضغط سياق عالٍ خلال مرحلتي الاستدلال والتعديل الدقيق. خلال الاستدلال، نجحنا في ضغط ما يصل إلى 3482 رمزًا في ذاكرة تخزين مؤقت بحجم 128 مع الحفاظ على أداء مقارب للتسلسل الكامل - بتحسين دقة يصل إلى 0.2791 مقارنة بالمرتكزات عند نفس حجم الذاكرة. أثناء التعديل الدقيق بعد التدريب، وسعنا بفعالية طول السياق من 4K إلى 32K باستخدام ذاكرة تخزين مؤقت بحجم ثابت 512، محققين أداء مماثل للتعديل الدقيق باستخدام التسلسلات الكاملة.