فعالية نماذج اللغات الكبيرة (LLMs) كمعلّقين: نظرة مقارنة وتحليل تجريبي للتمثيل المباشر

ظهرت نماذج اللغات الكبيرة (LLMs) كأدوات دعم قوية عبر مهام اللغة الطبيعية المختلفة ومجالات تطبيق متعددة. تركز الدراسات الحديثة على استكشاف قدراتها في ترميز البيانات. توفر هذه الورقة نظرة مقارنة على اثنتي عشرة دراسة تحقق في إمكانية نماذج اللغات الكبيرة في تصنيف البيانات. بينما تظهر النماذج فوائد واعدة من حيث توفير التكلفة والوقت، هناك قيود كبيرة مثل تمثيل البيانات، والتحيز، والحساسية لتغييرات التعليمات، وتفضيل اللغة الإنجليزية. من خلال الاستفادة من الرؤى المستقاة من هذه الدراسات، يفحص تحليلنا التجريبي توافق توزيعات الآراء البشرية وتلك التي يولّدها GPT عبر أربعة مجموعات بيانات ذاتية. على عكس الدراسات التي تفحص تمثيل البيانات، تستخرج منهجيّتنا مباشرة توزيع الآراء من GPT. يدعم تحليلنا بذلك أقلية الدراسات التي تأخذ في الاعتبار وجهات نظر متنوعة عند تقييم مهام ترميز البيانات ويبرز الحاجة لمزيد من البحث في هذا الاتجاه.