احذر الكلمات: تقييم التنوع المعجمي لنماذج اللغة الكبيرة الحوارية باستخدام ChatGPT كنموذج دراسة

يتم حاليًا تقييم أداء نماذج اللغة الكبيرة الحوارية (LLMs) بشكل عام، وChatGPT بشكل خاص، في العديد من المهام المختلفة، من الاستدلال المنطقي أو الرياضيات إلى الإجابة على أسئلة حول العديد من المواضيع. ومع ذلك، يُولى اهتمام أقل بكثير لدراسة الخصائص اللغوية للنصوص التي تنتجها هذه النماذج. وهذا أمر مفاجئ نظرًا لأن نماذج اللغة هي نماذج للغة، ومن المهم فهم كيفية استخدامهم للغة. في الواقع، من المتوقع أن يكون لنماذج اللغة الكبيرة الحوارية تأثير كبير على تطور اللغات لأنها قد تهيمن في النهاية على إنشاء النصوص الجديدة. هذا يعني، على سبيل المثال، أنه إذا لم تستخدم نماذج اللغة الكبيرة الحوارية كلمة ما، فقد تصبح أقل تكرارًا وفي النهاية تتوقف عن الاستخدام تمامًا. لذلك، يعد تقييم الخصائص اللغوية للنص الذي تنتجه هذه النماذج وكيفية اعتمادها على معلمات النموذج الخطوة الأولى نحو فهم التأثير المحتمل لنماذج اللغة الكبيرة الحوارية على تطور اللغات. في هذه الورقة، ننظر في تقييم التنوع المعجمي للنص الذي تنتجه نماذج اللغة الكبيرة باللغة الإنجليزية وكيف يعتمد على معلمات النموذج. تم تقديم منهجية تُستخدم لإجراء تقييم شامل للتنوع المعجمي باستخدام ChatGPT كنموذج دراسة. تُظهر النتائج كيف يعتمد التنوع المعجمي على نسخة ChatGPT وبعض معلماتها، مثل عقوبة التكرار أو الدور المعين للنموذج. يتم إصدار مجموعة البيانات والأدوات المستخدمة في تحليلنا تحت تراخيص مفتوحة بهدف جذب الانتباه الضروري لتقييم الخصائص اللغوية للنص الناتج عن نماذج اللغة الكبيرة.