RoleInteract: تقييم التفاعل الاجتماعي للوكلاء التمثيليين

طورت نماذج اللغة الكبيرة (LLMs) وكالات حوارية ذكائية اصطناعية متنوعة، بما في ذلك وكلاء تمثيليين يحاكون شخصيات وسلوكيات بشرية متنوعة. على الرغم من أن الأبحاث السابقة ركزت بشكل أساسي على تحسين القدرات الحوارية والمعرفة الخاصة بالأدوار والسمات الأسلوبية لهذه الوكلاء، إلا أنه يوجد فجوة ملحوظة في تقييم ذكائهم الاجتماعي. في هذه الورقة، نقدم RoleInteract، وهو أول معيار مصمم لتقييم الاجتماعية للوكلاء الحواريين التمثيليين بشكل منهجي على المستويين الفردي والجماعي من التفاعلات الاجتماعية. تم بناء المعيار من مصادر متنوعة ويغطي مجموعة واسعة من 500 شخصية وأكثر من 6000 سؤال تحفيزي و30,800 تعبير تمثيلي متعدد الأدوار. قمنا بإجراء تقييمات شاملة على هذا المعيار باستخدام نماذج اللغة الكبيرة مفتوحة المصدر ومغلقة المصدر السائدة. وجدنا أن تفوق الوكلاء على المستوى الفردي لا يعني بالضرورة كفاءتهم على المستوى الجماعي. علاوة على ذلك، قد يتغير سلوك الأفراد نتيجةً لتأثير العوامل الأخرى داخل المجموعة. تؤكد النتائج التجريبية على RoleInteract أهميته كمنصة اختبار لتقييم التفاعل الاجتماعي للوكلاء التمثيليين. المعيار متاح للعامة على https://github.com/X-PLUG/RoleInteract.