تحسين الانتباه من خلال استغلال إعادة استخدام البيانات على وحدات المعالجة المتعددة النوى ARM

تتصدر المحولات مجال معالجة اللغة الطبيعية، حيث تمثل ابتكارًا هامًا في التعلم العميق. من أجل استدلال نموذج عالي الأداء، يعتبر تحسين وحدة الانتباه التي تستهلك وقتًا طويلًا أمرًا بالغ الأهمية. نظرًا لأعباء العمل المصفوية ذات الشكل غير المنتظم وأنماط الوصول المعقدة للبيانات، فإن عامل الانتباه يكون محدودًا بعرض النطاق الترددي للذاكرة. تستفيد الأعمال الحالية من دمج النوى لتقليل عبء الوصول إلى الذاكرة، مما يؤدي إلى تحسينات واعدة في الأداء. مع ذلك، تركز هذه الجهود بشكل أساسي على معمارية GPU أو X86، مما يترك وحدات المعالجة المتعددة النوى ARM، الشائعة في أنظمة الحوسبة عالية الأداء الناشئة، غير مستكشفة بشكل كافٍ. نقدم MEATTEN، وهي خطة دمج الانتباه الفعّالة في استهلاك الذاكرة ونهج التجميع لاستغلال وحدات المعالجة المتعددة النوى ARM بفعالية. تعتمد على نوى ميكرو مدمجة وتخطيط بيانات جديد مناسب لتوجيه SIMD المتجه. يُستخدم نموذج تحليلي لتوجيه تعديل الحلقات، والتقسيم، والتوازي المجمع وفقًا لهندسة الذاكرة الهرمية على الرقاقة وتوصيف عبء العمل. نطبق MEATTEN على ثلاثة أنوية متقدمة من ARM ضد المكتبات والمترجمات الحديثة. تظهر النتائج التجريبية أن منهجنا يتفوق باستمرار على الأساليب السابقة عبر سيناريوهات وتطبيقات متعددة.