الاختيار المجدول للتنبؤ بالتسلسل باستخدام الشبكات العصبية المتكررة

يمكن تدريب الشبكات العصبية المتكررة لإنتاج تسلسلات من الرموز بناءً على بعض المدخلات، كما يتضح من النتائج الحديثة في الترجمة الآلية ووصف الصور. يتكون النهج الحالي لتدريبها من تعظيم احتمالية كل رمز في التسلسل بالنظر إلى الحالة الحالية (المتكررة) والرمز السابق. عند الاستدلال، يتم استبدال الرمز السابق غير المعروف برمز يتم توليده بواسطة النموذج نفسه. قد يؤدي هذا الاختلاف بين التدريب والاستدلال إلى أخطاء يمكن أن تتراكم بسرعة على طول التسلسل المولد. نقترح استراتيجية تعلم منهجية لتغيير عملية التدريب بلطف من نظام موجه بالكامل يستخدم الرمز السابق الحقيقي، نحو نظام أقل توجيها يستخدم في الغالب الرمز المولد بدلاً منه. أظهرت التجارب على عدة مهام توقع تسلسل أن هذا النهج يحقق تحسينات كبيرة. علاوة على ذلك، تم استخدامه بنجاح في مشاركتنا الفائزة في تحدي وصف الصور MSCOCO لعام 2015.