R²AG: دمج معلومات الاسترجاع في التوليد المعزز بالاسترجاع

تم تطبيق التوليد المعزز بالاسترجاع (RAG) في العديد من السيناريوهات لتعزيز نماذج اللغة الكبيرة (LLMs) بوثائق خارجية يوفرها المسترجعون. ومع ذلك، توجد فجوة دلالية بين نماذج اللغة الكبيرة والمسترجعين بسبب اختلافات في أهداف التدريب والهياكل المعمارية الخاصة بهم. هذه الفجوة تجبر نماذج اللغة الكبيرة على قبول الوثائق المقدمة من المسترجعين بشكل سلبي، مما يؤدي إلى سوء الفهم في عملية التوليد، حيث تُلقى على عاتق نماذج اللغة الكبيرة مهمة تمييز هذه الوثائق باستخدام معرفتها الكامنة. تقترح ورقة البحث هذه R²AG، وهو إطار عمل RAG محسن جديد لسد هذه الفجوة من خلال دمج معلومات الاسترجاع في التوليد المعزز بالاسترجاع. على وجه التحديد، يستخدم R²AG الميزات الدقيقة من المسترجعين ويستخدم R²-Former لالتقاط معلومات الاسترجاع. ثم يتم تصميم استراتيجية تحفيز واعية بالاسترجاع لدمج معلومات الاسترجاع في توليد نماذج اللغة الكبيرة. ومن الجدير بالذكر أن R²AG يناسب السيناريوهات قليلة المصادر حيث تكون نماذج اللغة الكبيرة والمسترجعين مجمدة. تؤكد تجارب مكثفة على خمسة مجموعات بيانات فعالية R²AG وصلابته وكفاءته. يكشف تحليلنا أن معلومات الاسترجاع تعمل كمرساة لمساعدة نماذج اللغة الكبيرة في عملية التوليد، وبذلك تسد الفجوة الدلالية.