CAME: Aprendizaje competitivo de un modelo Mixture-of-Experts para la recuperación en primera etapa

La recuperación en primera etapa tiene como objetivo recuperar un subconjunto de documentos candidatos de una gran colección de manera efectiva y eficiente. Dado que pueden existir varios patrones de coincidencia entre consultas y documentos relevantes, trabajos previos intentan combinar múltiples modelos de recuperación para encontrar tantos resultados relevantes como sea posible. Los ensambles construidos, ya sean aprendidos independientemente o de manera conjunta, no consideran qué modelo componente es más adecuado para una instancia durante el entrenamiento. Por lo tanto, no pueden explotar completamente las capacidades de diferentes tipos de modelos de recuperación para identificar patrones diversos de relevancia. Motivados por esta observación, en este artículo proponemos un modelo Mixture-of-Experts (MoE) que consiste en expertos representativos de coincidencia y un novedoso mecanismo de aprendizaje competitivo para que los expertos desarrollen y mejoren su pericia durante el entrenamiento. Específicamente, nuestro modelo MoE comparte las capas inferiores para aprender representaciones semánticas comunes y utiliza capas superiores estructuradas de manera diferente para representar diversos tipos de expertos en recuperación. Nuestro mecanismo de aprendizaje competitivo tiene dos etapas: (1) una etapa de aprendizaje estandarizado para entrenar a los expertos por igual y desarrollar sus capacidades para realizar coincidencia de relevancia; (2) una etapa de aprendizaje especializado donde los expertos compiten entre sí en cada instancia de entrenamiento y obtienen recompensas y actualizaciones según su desempeño para mejorar su pericia en ciertos tipos de muestras. Resultados experimentales en conjuntos de datos de referencia para recuperación muestran que nuestro método supera significativamente a las líneas base de última generación tanto en configuraciones dentro del dominio como fuera del dominio.