بناء معايير وتدخلات لمكافحة الهلوسة في نماذج اللغة الكبرى (LLMs)

نماذج اللغة الكبرى (LLMs) عرضة للهلوسة، مما أثار جهدًا واسع النطاق لاكتشافها ومنعها. تحاول الأعمال الحديثة التخفيف من الهلوسات بالتدخل في حسابات النموذج أثناء التوليد، باستخدام إعدادات وخوارزميات مختلفة. تفتقر هذه الأعمال إلى الفصل بين أسباب الهلوسة المختلفة. في هذا العمل، نقدم أولاً منهجًا لبناء مجموعات بيانات تعتمد على معرفة النموذج لطرق الكشف والتدخل في سياقات الأسئلة والأجوبة المغلقة والمفتوحة. ثم نصف تأثير الخيارات المختلفة للتدخل، مثل المكونات المتداخلة (MLPs، كتلة الانتباه، تدفق الباقي، والرؤوس المحددة)، ومدى تواتر وقوة التدخل. نجد أن نجاح التدخل يختلف حسب المكون، مع وجود بعض المكونات التي تضر بقدرات نمذجة اللغة. أخيرًا، نلاحظ أن التدخلات يمكن أن تستفيد من توجيه قبل الهلوسة بدلاً من بعد الهلوسة. الكود متاح على https://github.com/technion-cs-nlp/hallucination-mitigation