CAME：用于第一阶段检索的专家混合模型竞争学习

第一阶段检索旨在从庞大集合中有效且高效地检索一部分候选文档。由于查询与相关文档之间可能存在多种匹配模式，先前的工作尝试结合多种检索模型以尽可能找到更多相关结果。无论是独立学习还是联合学习构建的集成方法，在训练过程中都未考虑哪个组件模型更适合某个实例。因此，它们无法充分利用不同类型检索模型在识别多样相关模式方面的能力。基于此观察，本文提出一种由代表性匹配专家组成的专家混合（MoE）模型及一种新颖的竞争学习机制，使专家在训练过程中发展并增强其专业技能。具体而言，我们的MoE模型共享底层以学习通用语义表示，并使用结构不同的上层来表示各种类型的检索专家。我们的竞争学习机制分为两个阶段：（1）标准化学习阶段，用于平等训练专家，培养其进行相关性匹配的能力；（2）专门化学习阶段，专家在每个训练实例上相互竞争，根据表现获得奖励和更新，以增强对特定类型样本的专业能力。基准检索数据集上的实验结果表明，我们的方法在领域内和跨领域设置中显著优于最先进的基线方法。