Una encuesta sobre RAG y LLMs: Hacia modelos de lenguaje grandes aumentados con recuperación

Como una de las técnicas más avanzadas en IA, las técnicas de generación aumentada con recuperación (RAG) pueden ofrecer conocimiento externo fiable y actualizado, proporcionando una gran conveniencia para numerosas tareas. Particularmente en la era del contenido generado por IA (AIGC), la poderosa capacidad de recuperación en RAG para proporcionar conocimiento adicional permite que la generación aumentada con recuperación ayude a la IA generativa existente a producir resultados de alta calidad. Recientemente, los modelos de lenguaje grandes (LLMs) han demostrado habilidades revolucionarias en comprensión y generación del lenguaje, aunque aún enfrentan limitaciones inherentes, como alucinaciones y conocimiento interno desactualizado. Dadas las potentes capacidades de RAG para proporcionar información auxiliar útil y actualizada, han surgido los modelos de lenguaje grandes aumentados con recuperación para aprovechar bases de conocimiento externas y autorizadas, en lugar de depender únicamente del conocimiento interno del modelo, para mejorar la calidad de generación de los LLMs. En esta revisión, examinamos exhaustivamente los estudios existentes sobre modelos de lenguaje grandes aumentados con recuperación (RA-LLMs), cubriendo tres perspectivas técnicas principales: arquitecturas, estrategias de entrenamiento y aplicaciones. Como conocimiento preliminar, introducimos brevemente las bases y avances recientes de los LLMs. Luego, para ilustrar la importancia práctica de RAG para LLMs, clasificamos los trabajos principales relevantes por áreas de aplicación, detallando específicamente los desafíos de cada una y las capacidades correspondientes de los RA-LLMs. Finalmente, para proporcionar una visión más profunda, discutimos las limitaciones actuales y varias direcciones prometedoras para investigaciones futuras.