BioGPT：用于生物医学文本生成和挖掘的生成式预训练变换器

摘要 受在通用自然语言领域取得巨大成功的启发，预训练语言模型在生物医学领域受到越来越多的关注。在通用语言领域的两大预训练语言模型分支——BERT（及其变体）和GPT（及其变体）中，前者已在生物医学领域被广泛研究，如BioBERT和PubMedBERT。虽然它们在多种判别式下游生物医学任务中取得了卓越成绩，但缺乏生成能力限制了其应用范围。在本文中，我们提出了BioGPT，一种在大规模生物医学文献上预训练的特定领域生成式Transformer语言模型。我们在六个生物医学自然语言处理任务上评估了BioGPT，结果显示该模型在大多数任务上优于之前的模型。尤其是在BC5CDR、KD-DTI和DDI端到端关系抽取任务上分别实现了44.98%、38.42%和40.76%的F1分数，在PubMedQA上取得了78.2%的准确率，创下新纪录。我们的文本生成案例研究进一步展示了BioGPT在生成流畅生物医学术语描述方面的优势。