تمثيل القواعد النحوية في ChatGPT مقارنة باللغويين والعامة

أظهرت نماذج اللغة الكبيرة (LLMs) أداءً استثنائيًا في مختلف المهام اللغوية. ومع ذلك، لا يزال من غير المؤكد ما إذا كانت هذه النماذج قد طورت حدسًا نحويًا دقيقًا يشابه حدس الإنسان. تقدم هذه الدراسة المسجلة مسبقًا (https://osf.io/t5nes) أول تحقيق واسع النطاق في حدس القواعد في ChatGPT، استنادًا إلى دراسة سابقة جمعت تقييمات العامة لقضايا نحوية بلغ عددها 148 ظاهرة لغوية حكم عليها اللغويون بأنها نحوية، غير نحوية، أو نحوية هامشية (Sprouse, Schutze, & Almeida, 2013). كان تركيزنا الأساسي مقارنة ChatGPT مع كل من العامة واللغويين في تقييم هذه التركيبات اللغوية. في التجربة الأولى، أعطى ChatGPT تقييمات للجمل بناءً على جملة مرجعية. تضمنت التجربة الثانية تقييم الجمل بمقياس من 7 نقاط، وطلبت التجربة الثالثة من ChatGPT اختيار الجملة الأكثر نحوية من بين زوج. بشكل عام، أظهرت نتائجنا معدلات توافق تتراوح بين 73% و95% بين ChatGPT واللغويين، مع تقدير إجمالي 89%. وُجدت أيضًا ارتباطات معنوية بين ChatGPT والعامة عبر جميع المهام، رغم تفاوت قوة الارتباط حسب المهمة. نعزو هذه النتائج إلى الطبيعة النفسية للمهام التقييمية واختلاف أنماط معالجة اللغة بين البشر ونماذج اللغة الكبيرة.