فيزياء نماذج اللغة: الجزء 2.1، رياضيات المرحلة الابتدائية وعملية الاستدلال الخفية

أظهرت التطورات الحديثة في نماذج اللغة قدرتها على حل مسائل الاستدلال الرياضي، محققة دقة قريبة من الكمال في معايير الرياضيات على مستوى المرحلة الابتدائية مثل GSM8K. في هذه الورقة، ندرس بشكل رسمي كيفية حل نماذج اللغة لهذه المسائل. صممنا سلسلة من التجارب المحكمة للإجابة على عدة أسئلة أساسية: (1) هل يمكن لنماذج اللغة حقًا تطوير مهارات الاستدلال، أم أنها ببساطة تحفظ القوالب؟ (2) ما هي عملية الاستدلال الخفية (العقلية) للنموذج؟ (3) هل تحل النماذج مسائل الرياضيات باستخدام مهارات مماثلة للبشر أم مختلفة؟ (4) هل النماذج المدربة على مجموعات بيانات شبيهة بـ GSM8K تطور مهارات استدلال تتجاوز ما هو ضروري لحل مسائل GSM8K؟ (5) ما هي العملية العقلية التي تسبب ارتكاب النماذج لأخطاء في الاستدلال؟ (6) ما حجم أو عمق النموذج المطلوب لحل مسائل الرياضيات على مستوى GSM8K بفعالية؟ تكشف دراستنا العديد من الآليات الخفية التي تحل بها نماذج اللغة الأسئلة الرياضية، مقدمة رؤى تتجاوز الفهم الحالي لنماذج اللغة الكبيرة.