Blended RAG: Melhorando a Precisão do RAG (Retriever-Augmented Generation) com Busca Semântica e Recuperadores Híbridos Baseados em Consulta

Retrieval-Augmented Generation (RAG) é uma abordagem prevalente para infundir uma base de conhecimento privada de documentos com Large Language Models (LLM) para construir sistemas generativos de Q&A (Question-Answering). Contudo, a precisão do RAG torna-se cada vez mais desafiadora à medida que o corpus de documentos cresce, com os Recuperadores desempenhando um papel desproporcional na precisão geral do RAG ao extrair o documento mais relevante do corpus para fornecer contexto ao LLM. Neste artigo, propomos o método 'Blended RAG' que utiliza técnicas de busca semântica, como índices de Vetores Densos e índices Sparse Encoder, combinados com estratégias de consulta híbridas. Nosso estudo alcança melhores resultados de recuperação e estabelece novos benchmarks para conjuntos de dados de IR (Information Retrieval) como NQ e TREC-COVID. Estendemos ainda esse 'Recuperador Misturado' ao sistema RAG para demonstrar resultados muito superiores em conjuntos de dados generativos de Q&A como SQUAD, até mesmo superando o desempenho de fine-tuning.