نموذج اللغة عن العناصر للتوصية الحوارية

لقد حققت نماذج اللغة الكبيرة (LLMs) نجاحًا كبيرًا في مهام مثل فهم الحوارات المعقدة، والتفكير، والبرمجة بفضل القدرات الناشئة لديها. تم توسيع هذه القدرات الناشئة لتشمل التعدد الحسي بإضافة إمكانيات الصور، والصوت، والفيديو. من ناحية أخرى، كانت أنظمة التوصية ضرورية لتلبية احتياجات البحث عن المعلومات واكتشاف العناصر. مؤخرًا، حدثت محاولات لتطبيق نماذج اللغة الكبيرة في التوصيات. إحدى الصعوبات في المحاولات الحالية هي أن نموذج اللغة الأساسي عادةً ما لا يتم تدريبه على بيانات أنظمة التوصية، والتي غالبًا ما تحتوي على إشارات تفاعل المستخدم وغالبًا لا تكون متاحة للعامة. صعوبة أخرى هي أن إشارات تفاعل المستخدم غالبًا ما تكون بنمط مختلف عن نص اللغة الطبيعية، ولا يزال من غير الواضح ما إذا كان إعداد تدريب نموذج اللغة يمكنه تعلم معرفة غير تافهة أكثر من إشارات التفاعل مقارنة بأساليب أنظمة التوصية التقليدية. أخيرًا، من الصعب تدريب نماذج لغة كبيرة متعددة لحالات استخدام مختلفة، والحفاظ على القدرات الأصلية للغة والتفكير عند التعلم من بيانات أنظمة التوصية. لمعالجة هذه القيود الثلاثة، نقترح نموذج اللغة عن العناصر (ILM)، المكون من مشفر عنصر لإنتاج تمثيلات نصية متماشية مع العناصر وترمز إشارات تفاعل المستخدم، ونموذج لغة كبير مجمد يمكنه فهم تلك التمثيلات مع الحفاظ على المعرفة المدربة مسبقًا. قمنا بإجراء تجارب شاملة تُظهر أهمية المحاذاة اللغوية ومعرفة تفاعل المستخدم في مشفر العنصر.