InfuserKI: تعزيز نماذج اللغة الكبيرة باستخدام الرسوم البيانية المعرفية عبر دمج المعرفة الموجه بواسطة Infuser

على الرغم من أن نماذج اللغة الكبيرة (LLMs) أظهرت قدرات توليد مفتوحة ملحوظة عبر مجالات متنوعة، إلا أنها تواجه صعوبات في المهام التي تتطلب معرفة مكثفة. للتخفيف من هذه المشكلة، تم اقتراح طرق دمج المعرفة لتعزيز نماذج LLMs باستخدام الرسوم البيانية المعرفية الخاصة بالمجال عبر وحدات خارجية. ومع ذلك، تعاني هذه الطرق من عدم كفاءة في استخدام البيانات لأنها تتطلب معرفة معروفة وغير معروفة من أجل التعديل الدقيق. لذلك، درسنا مشكلة جديدة تتمثل في دمج المعرفة غير المعروفة في نماذج LLMs بكفاءة دون تداخل غير ضروري مع المعرفة المعروفة. إن حقن معرفة جديدة يعرض لخطر نسيان المعرفة المكتسبة سابقًا. لمواجهة هذا، اقترحنا إطار عمل جديد لدمج المعرفة الموجه بواسطة Infuser (InfuserKI) يستخدم الحالات الداخلية للمحول لتحديد ما إذا كان ينبغي تعزيز مخرجات نموذج اللغة الأصلية بمعلومات إضافية، وبالتالي التخفيف بفعالية من نسيان المعرفة. أظهرت التقييمات على الرسوم البيانية المعرفية لمجال UMLS-2.5k وMetaQA أن InfuserKI قادر على اكتساب معرفة جديدة بفعالية ويتفوق على النماذج الأساسية الحديثة بنسبة 9٪ و6٪ على التوالي في تقليل نسيان المعرفة.