النص الخام هو كل ما تحتاجه: التوليف المتعدد الأدوار المكثف معرفيًا لتعليمات نماذج اللغة الكبيرة

يعد توليف التعليمات تقنية فعالة لمواءمة مخرجات نماذج اللغة الكبيرة (LLMs) مع تفضيلات البشر. لكن كيفية توليد الحوارات متعددة الأدوار الموسمية من الوثائق الخام لأغراض توليف التعليمات ما زالت تتطلب مزيدًا من الاستكشاف. في هذه الورقة، نقدم إطار عمل جديد يُسمى R2S يستفيد من منطق سلسلة الحوارات CoD-Chain لتوجيه نماذج اللغة الكبيرة في توليد حوارات متعددة الأدوار مكثفة معرفيًا لتوليف التعليمات. من خلال دمج الوثائق الخام من مجموعات بيانات مفتوحة المصدر ووثائق محددة بمجال التخصص تم جمعها عبر الويب في معيار K-BENCH، نغطي مجالات متنوعة مثل ويكيبيديا (إنجليزي)، العلوم (صيني)، والقطع الأثرية (صيني). يحدد نهجنا أولًا سير المنطق للحوار الحالي ثم يحفز نماذج اللغة الكبيرة لإنتاج عبارات رئيسية لاستخلاص محتوى الرد المناسب. تمكن هذه المنهجية من إنشاء مجموعة تعليمات G I NSTRUCT، التي تحتفظ بمعرفة الوثائق الخام ضمن تفاعل حواري. باستخدام هذه المجموعة، نقوم بتوليف نموذج GLLM المصمم لتحويل الوثائق الخام إلى حوارات متعددة الأدوار منظمة، مما يضخ معرفة شاملة بالمجال إلى نموذج SFT لتحسين توليف التعليمات. يمثل هذا العمل خطوة نحو تحسين قدرة نماذج اللغة الكبيرة على التكيف والفعالية في معالجة وتوليد ردود أكثر دقة ومعنى سياقي عبر مجالات متنوعة.