إيرني: تمثيل لغوي محسن بالكيانات الإعلامية

نماذج تمثيل اللغة العصبية مثل BERT المُدربة مسبقًا على مجموعات بيانات كبيرة يمكنها التقاط أنماط دلالية غنية من النصوص العادية، ويمكن تعديلها لتحسين أداء مهام معالجة اللغة الطبيعية المختلفة بشكل مستمر. مع ذلك، نادرًا ما تأخذ نماذج اللغة المُدربة مسبقًا بالحسبان دمج الرسوم البيانية المعرفية (KGs)، التي يمكنها توفير حقائق معرفة منظمة غنية لفهم أفضل للغة. نحن نُؤكد أن الكيانات الإعلامية في الرسوم البيانية المعرفية يمكنها تعزيز تمثيل اللغة بالمعرفة الخارجية. في هذه الورقة، نستخدم كلًا من مجموعات النصوص الكبيرة والرسوم البيانية المعرفية لتدريب نموذج تمثيل لغوي محسن (ERNIE)، يستطيع الاستفادة الكاملة من المعلومات المعجمية والنحوية والمعرفية في آن واحد. أظهرت النتائج التجريبية أن ERNIE يحقق تحسينات ملحوظة في مختلف المهام المعتمدة على المعرفة، وفي الوقت نفسه يكون مشابهًا للطراز الأحدث BERT في مهام معالجة اللغة الطبيعية الأخرى الشائعة. يمكن الحصول على الشفرة المصدرية وتفاصيل التجارب لهذه الورقة من https:// github.com/thunlp/ERNIE.