ماذا بعد المحولات؟ -- مسح انتقائي يربط الأفكار في التعلم العميق

لقد أصبحت المحولات النموذج المعياري في الذكاء الاصطناعي منذ عام 2017 على الرغم من العديد من العيوب التي تتراوح من عدم كفاءة الطاقة إلى الهلوسات. لقد أحرز البحث تقدمًا كبيرًا في تحسين عناصر المحولات، وبشكل أعم في التعلم العميق، مما تجلى في العديد من الاقتراحات للمعماريات والطبقات وأهداف التحسين وتقنيات التحسين. من الصعب على الباحثين متابعة هذه التطورات على مستوى أوسع. نوفر نظرة شاملة على العديد من الأعمال الحديثة المهمة في هذه المجالات لأولئك الذين لديهم فهم أساسي للتعلم العميق. يختلف تركيزنا عن الأعمال الأخرى، حيث نستهدف بشكل خاص النهج الجديدة والبديلة التي قد تحدث تحولاً في المحولات، فضلاً عن الأفكار الناجحة في التعلم العميق الحديث. نأمل أن يساعد هذا المعالج الشامل والموحد للأعمال المؤثرة والأفكار الحديثة الباحثين في تكوين روابط جديدة بين مجالات التعلم العميق المتنوعة. نحدد ونناقش عدة أنماط تلخص الاستراتيجيات الرئيسية للابتكارات الناجحة خلال العقد الماضي وكذلك الأعمال التي يمكن اعتبارها نجوماً صاعدة. خاصة، نناقش المحاولات لتحسين المحولات، متضمنة طرقًا مثبتة جزئيًا مثل نماذج الفضاء الحالة، وأفكارًا بعيدة المدى في التعلم العميق تبدو واعدة رغم عدم تحقيقها لنتائج متقدمة. نغطي أيضًا نقاشًا حول النماذج الحديثة المتقدمة مثل سلسلة GPT من OpenAI ونماذج LLama من Meta، وعائلة نموذج Gemini من Google.