BIOASQ大规模生物医学语义索引与问答竞赛概述

本文概述了首届BioASQ挑战赛，这是一次关于大规模生物医学语义索引和问答（QA）的竞赛，于2013年3月至9月期间举行。BioASQ评估系统语义索引大量生物医学科学文献的能力，以及通过结合生物医学文章和本体，针对自然语言提问返回简明且用户易懂的答案的能力。2013年BioASQ竞赛包含两个任务，任务1a和任务1b。在任务1a中，参与者需自动为新的PubMed文档添加MeSH主题词。共有12支团队参与任务1a，共提交46个系统运行结果，其中一支团队在表现上持续优于NLM用于向策展人建议MeSH主题词的MTI索引器。任务1b使用包含29个开发集和282个测试集的英文问题的基准数据集，并配有由欧洲各地生物医学专家团队准备的标准（参考）答案，参与者需自动生成答案。任务1b有3支团队参与，共提交11个系统运行结果。BioASQ基础设施包括基准数据集、评估机制以及参与者和基线方法的结果，均公开可用。已开发出一套公开可用的生物医学语义索引与问答评估基础设施，涵盖基准数据集，可用于评估系统是否能向已发表文章或英文问题分配MeSH主题词；是否能从本体检索相关RDF三元组、PubMed Central中相关文章及片段；是否能生成“准确”答案和段落大小的“理想”答案（摘要）。2013年BioASQ竞赛系统的结果令人鼓舞。在任务1a中，有系统表现持续优于NLM的MTI索引器。任务1b中系统在“理想”答案的人工评估中获得高分，因此生成了高质量的摘要作为答案。总体而言，BioASQ有助于统一视角，展现文本分类、语义索引、文档和段落检索、问答及文本摘要技术如何结合，使生物医学专家获得简明且用户易懂、符合其实际信息需求的问题答案。