ERNIE: सूचनात्मक संस्थाओं के साथ संवर्धित भाषा प्रतिनिधित्व

BERT जैसे न्यूरल भाषा प्रतिनिधित्व मॉडल जो बड़े पैमाने पर कॉर्पस पर प्री-ट्रेंड होते हैं, वे सामान्य पाठ से समृद्ध अर्थपूर्ण पैटर्न को अच्छी तरह पकड़ सकते हैं, और विभिन्न NLP कार्यों के प्रदर्शन में लगातार सुधार के लिए फाइन-ट्यून किए जा सकते हैं। हालांकि, मौजूदा प्री-ट्रेंड भाषा मॉडल शायद ही कभी ज्ञान ग्राफ (KGs) को शामिल करने पर विचार करते हैं, जो बेहतर भाषा समझ के लिए समृद्ध संरचित ज्ञान तथ्य प्रदान कर सकते हैं। हमारा तर्क है कि KG में सूचनात्मक संस्थाएँ बाहरी ज्ञान के साथ भाषा प्रतिनिधित्व को बढ़ा सकती हैं। इस पेपर में, हम बड़े पैमाने पर पाठ्य कॉर्पस और KGs दोनों का उपयोग करके एक संवर्धित भाषा प्रतिनिधित्व मॉडल (ERNIE) प्रशिक्षित करते हैं, जो लेक्सिकल, वाक्य संरचनात्मक, और ज्ञान सूचनाओं का एक साथ पूर्ण लाभ उठा सकता है। प्रायोगिक परिणामों ने दिखाया है कि ERNIE विभिन्न ज्ञान-चालित कार्यों में महत्वपूर्ण सुधार प्राप्त करता है, और साथ ही अन्य सामान्य NLP कार्यों पर अत्याधुनिक मॉडल BERT के साथ तुलनीय है। इस पेपर का स्रोत कोड और प्रयोग विवरण https:// github.com/thunlp/ERNIE से प्राप्त किया जा सकता है।