التحويلات المعاد النظر فيها: البنية، الانتباه، والقيود

التحويلات أصبحت الآن البنية السائدة في الذكاء الاصطناعي الحديث. تم تقديمها في عام 2017 بواسطة فاسواني وآخرون في سياق معالجة اللغة الطبيعية، وقد أحدثت ثورة حقيقية في رؤية الحاسوب، توليد الموسيقى، المعلوماتية الحيوية، والعديد من المجالات الأخرى. تقدم هذه الورقة تحليلاً تصاعدياً ومفهوماً لبنيتها من آلية الانتباه إلى الترميزات الموضعية الحديثة (RoPE، ALiBi) مع طرق التدريب المتقدمة (RLHF، تعديل التعليمات) والتحسينات الأخيرة (FlashAttention، الانتباه المتفرق). كما تُفحص القيود الأساسية والبدائل الناشئة (نماذج الفضاء الحالة، Mamba) لتقديم صورة كاملة ومُحدّثة لمشهد نمذجة التسلسل.