RAGGED: Hacia un Diseño Informado de Sistemas de Generación Aumentada por Recuperación

La generación aumentada por recuperación (RAG) beneficia enormemente a los modelos de lenguaje (LMs) al proporcionar contexto adicional para tareas como la respuesta a preguntas basada en documentos (DBQA). A pesar de su potencial, el poder de RAG depende en gran medida de su configuración, lo que plantea la pregunta: ¿Cuál es la configuración óptima de RAG? Para responder a esto, presentamos el marco RAGGED para analizar y optimizar los sistemas RAG. En un conjunto de tareas representativas de DBQA, estudiamos dos recuperadores clásicos, uno disperso y otro denso, y cuatro LMs de alto rendimiento en arquitecturas codificador-decodificador y solo decodificador. A través de RAGGED, descubrimos que diferentes modelos se adaptan a configuraciones de RAG sustancialmente variadas. Mientras que los modelos codificador-decodificador mejoran monótonamente con más documentos, encontramos que los modelos solo decodificador pueden usar eficazmente menos de 5 documentos, a pesar de tener a menudo una ventana de contexto más larga. RAGGED ofrece además insights sobre los hábitos de utilización del contexto de los LMs, donde encontramos que los modelos codificador-decodificador se basan más en los contextos y, por lo tanto, son más sensibles a la calidad de recuperación, mientras que los modelos solo decodificador suelen depender del conocimiento memorizado durante el entrenamiento.