SWattention: تصميم انتباه سريع وفعال في استخدام الذاكرة لحاسوب Sunway العملاق الجديد

ملخص في السنوات القليلة الماضية، أصبحت نماذج اللغات الكبيرة القائمة على المحولات (LLM) التكنولوجيا المسيطرة في سلسلة من التطبيقات. لتوسيع طول التسلسل في المحول، تم اقتراح FlashAttention لحساب الانتباه الدقيق مع تقليل متطلبات الذاكرة وتسريع التنفيذ. ومع ذلك، يواجه تنفيذ خوارزمية FlashAttention على جيل الحاسوب العملاق Sunway الجديد العديد من القيود مثل البنية غير المتجانسة الفريدة وعرض النطاق الترددي المحدود للذاكرة. يقترح هذا العمل SWattention، وهو طريقة ذات كفاءة عالية لحساب الانتباه الدقيق على معالج SW26010pro. لاستغلال كامل لمجموعات الأنوية الست (CG) و64 نواة لكل مجموعة على المعالج، صممنا استراتيجية تقسيم مهام متوازية على مستويين. يُستخدم الوصول غير المتزامن للذاكرة لضمان تداخل الوصول للذاكرة مع العمليات الحسابية. بالإضافة إلى ذلك، تم تقديم استراتيجية التجزئة لتحديد أحجام مثلى لكتل SRAM. مقارنة بالانتباه القياسي، يحقق SWattention تسريعًا بحوالي 2.0 مرة لتدريب FP32 وتسريعًا بمقدار 2.5 مرة لتدريب الدقة المختلطة. تتراوح أطوال التسلسلات من 1k إلى 8k وتصل إلى 16k دون نفاد الذاكرة. أما بالنسبة للأداء الشامل، فيحقق SWattention تسريعًا يصل إلى 1.26 مرة لتدريب نماذج على نمط GPT، مما يثبت أن SWattention يتيح طول تسلسل أطول لتدريب LLM.