نماذج اللغة الكبيرة كمدربين: التعلم من الأخطاء نحو أتمتة تحسين النموذج

تقدم هذه الورقة إطار "نماذج اللغة الكبيرة كمدربين" المبتكر، الذي يستفيد من نماذج اللغة الكبيرة المتقدمة (LLMs) لتحسين تدريب النماذج الهدف الأصغر بشكل مستقل. مستوحى من نظرية "التعلم من الأخطاء"، يستخدم هذا الإطار نموذج لغة كبير كمدرب لتحليل الأخطاء المحددة داخل نموذج الهدف بدقة، مما يسهل دورات تدريبية مستهدفة وفعالة. ضمن هذا الإطار، ننفذ استراتيجيتين: "التعلم من الخطأ"، التي تركز فقط على الاستجابات غير الصحيحة لتخصيص بيانات التدريب، و"التعلم من الخطأ بالتباين"، التي تستخدم التعلم التبايني لتحليل كل من الاستجابات الصحيحة والخاطئة لفهم أعمق للأخطاء. تُظهر دراساتنا التجريبية، التي أُجريت باستخدام عدة نماذج مفتوحة المصدر، تحسينات كبيرة عبر عدة معايير قياسية، بما في ذلك التفكير الرياضي، والقدرات البرمجية، والمعرفة الحقيقية. ويُذكر أن نموذج Llama-3-8b-Instruction المحسن قد تفوق على ChatGPT، مما يبرز فعالية نهجنا. من خلال استغلال نقاط القوة لكلتا الاستراتيجيتين، حققنا تحسناً أكثر توازناً في الأداء على المعايير داخل المجال وخارجه. يمكن العثور على الكود الخاص بنا على https://yingjiahao14.github.io/LLMs-as-Instructors-pages/.