تم اقتراح التوليد المعزز بالاسترجاع (RAG) للتخفيف من مشكلة الهلوسة في نماذج اللغة الكبيرة (LLMs) في المهام التي تتطلب معرفة مكثفة من خلال دمج المعرفة الخارجية. ومع ذلك، في الإجابة على الأسئلة متعددة الخطوات، غالبًا ما تكافح طرق الاسترجاع التكرارية الحالية للحفاظ على التركيز على المعلومات الرئيسية. مع زيادة عدد حلقات الاسترجاع، قد تنحرف الاستعلامات المُولدة تدريجيًا عن مسار التفكير الصحيح، وقد تتراكم معلومات غير ذات صلة أو ضوضائية، مما يقلل في نهاية المطاف من دقة الاستدلال. لمعالجة هذه التحديات، نقترح طريقة جديدة للتوليد المعزز بالاسترجاع للإجابة على الأسئلة متعددة الخطوات تعتمد على التخطيط الهيكلي. أولًا، تستخدم طريقتنا تخطيط السؤال قبل الاسترجاع لتوفير إرشادات دلالية للاسترجاع التكراري، مما يضمن اتساقًا أكبر بين الاسترجاع والاستدلال. بالإضافة إلى ذلك، قدمنا آلية استخراج دليل هيكلية لتصفية الضوضاء في المعلومات المسترجعة بشكل فعال، مما يؤدي إلى تحسين دقة الاستدلال. تظهر النتائج التجريبية على ثلاث مجموعات بيانات للإجابة على الأسئلة متعددة الخطوات في المجالات المفتوحة أن طريقتنا يمكنها التخفيف بفعالية من تأثير التحيز في الاسترجاع والضوضاء، وتظهر أداءً تنافسيًا.
Building similarity graph...
Analyzing shared references across papers
Loading...
Yujiao Huang
Ling Yang
Xu-Hua Yang
ACM Transactions on Knowledge Discovery from Data
Zhejiang University of Technology
Shaoxing University
Building similarity graph...
Analyzing shared references across papers
Loading...
درس Huang وآخرون هذا السؤال.
www.synapsesocial.com/papers/699e9166f5123be5ed04ef39 — DOI: https://doi.org/10.1145/3789506