构建检索增强生成系统的七大失败点

软件工程师越来越多地采用一种称为检索增强生成（RAG）的策略，为应用程序添加语义搜索功能。RAG系统涉及查找与查询语义匹配的文档，然后将这些文档传递给大型语言模型（LLM），例如ChatGPT，利用LLM提取正确答案。RAG系统旨在：a）减少LLM产生幻觉响应的问题，b）将来源/引用链接到生成的响应，c）避免需要为文档注释元数据。然而，RAG系统存在信息检索系统固有的局限性和对LLM依赖的问题。本文基于来自研究、教育和生物医学三个不同领域的三个案例研究，报告了RAG系统的失败点。我们分享了经验教训，并提出设计RAG系统时需考虑的7个失败点。我们的两个关键结论是：1）RAG系统的验证只有在运行期间才可行；2）RAG系统的鲁棒性是逐步演化形成的，而非一开始就设计完成。最后，我们列出了针对软件工程社区的RAG系统潜在研究方向。