آلية الانتباه الحوسبية التناظرية داخل الذاكرة لنماذج اللغة الكبيرة السريعة وموفرة للطاقة

تعد شبكات المحولات، المدفوعة بالانتباه الذاتي، مركزية لنماذج اللغة الكبيرة. في المحولات التوليدية، يستخدم الانتباه الذاتي ذاكرة التخزين المؤقت لتخزين إسقاطات الرموز، مما يتجنب إعادة الحساب في كل خطوة زمنية. ومع ذلك، يجب تحميل الإسقاطات المخزنة على وحدات معالجة الرسومات (GPU) إلى الذاكرة العشوائية الثابتة لكل خطوة توليد جديدة، مما يسبب تأخيرات واختناقات في الطاقة. هنا نقدم بنية حسابية مخصصة للانتباه الذاتي داخل الذاكرة تعتمد على ذواكر مشحونة جديدة تسمى خلايا الكسب، التي يمكن كتابتها بكفاءة لتخزين رموز جديدة أثناء توليد السلسلة وتمكن من حساب جداء النقاط التناظري الموازي المطلوب للانتباه الذاتي. غير أن دوائر خلايا الكسب التناظرية تقدم عدم مثالية وقيود تمنع الخريطة المباشرة للنماذج المدربة مسبقاً. لتجنب هذه المشكلة، صممنا خوارزمية تهيئة تحقق أداءً في معالجة النصوص مماثل لـ GPT-2 دون الحاجة إلى تدريب من البداية. تقلل بنيتنا زمن تأخير الانتباه واستهلاك الطاقة بما يصل إلى مرتين وأربعة مراتب على التوالي مقارنة بوحدات معالجة الرسومات، مما يمثل خطوة كبيرة نحو محولات توليدية فائقة السرعة ومنخفضة الطاقة.