BioBERT: نموذج تمثيل لغة مدرب مسبقًا في المجال الطبي الحيوي لتعدين النصوص الطبية الحيوية

يُصبح تعدين النصوص الطبية الحيوية أكثر أهمية مع الزيادة السريعة في عدد الوثائق الطبية الحيوية. مع تقدم معالجة اللغة الطبيعية (NLP)، أصبح استخراج المعلومات القيمة من الأدبيات الطبية الحيوية شائعًا بين الباحثين، وقد عزز التعلم العميق تطوير نماذج فعالة لتعدين النصوص الطبية الحيوية. ومع ذلك، غالبًا ما تؤدي تطبيقات تقدمات معالجة اللغة الطبيعية مباشرة على تعدين النصوص الطبية الحيوية إلى نتائج غير مرضية نتيجة لتحول توزيع الكلمات من مجاميع البيانات العامة إلى مجاميع البيانات الطبية الحيوية. في هذه المقالة، ندرس كيفية تكييف نموذج اللغة المدرب مسبقًا BERT للمجالات الطبية الحيوية. نُقدم BioBERT (تمثيلات المشفر ثنائي الاتجاه من المحولات لتعدين النصوص الطبية الحيوية)، وهو نموذج تمثيل لغة محدد المجال تم تدريبه مسبقًا على مجاميع بيانات طبية حيوية واسعة النطاق. مع بنية متقاربة عبر المهام، يتفوق BioBERT بشكل كبير على BERT والنماذج الحديثة السابقة في مجموعة متنوعة من مهام تعدين النصوص الطبية الحيوية عند تدريبه مسبقًا على بيانات طبية حيوية. بينما يحقق BERT أداءً مشابهًا للنماذج الحديثة السابقة، يتفوق BioBERT عليهم بشكل ملحوظ في ثلاثة مهام تمثيلية لتعدين النصوص الطبية الحيوية: التعرف على الكيانات المسماة الطبية الحيوية (تحسن بنسبة 0.62% في درجة F1)، استخراج العلاقات الطبية الحيوية (تحسن بنسبة 2.80% في درجة F1) والإجابة عن الأسئلة الطبية الحيوية (تحسن بنسبة 12.24% في MRR). تُظهر نتائج تحليلنا أن تدريب BERT مسبقًا على مجاميع طبية حيوية يساعده على فهم النصوص الطبية الحيوية المعقدة. نُوفر أوزان BioBERT المدربة مسبقًا متاحة مجانًا على https://github.com/naver/biobert-pretrained، والكود المصدري لتدقيق BioBERT متاح على https://github.com/dmis-lab/biobert.