T-RAG：来自大语言模型战壕的经验教训

大型语言模型（LLM）展现了卓越的语言能力，推动了其在各领域应用的尝试。一个重要的应用领域是针对私有企业文档的问答系统，其主要考虑因素包括数据安全，这要求应用程序可以部署在本地，计算资源有限，以及需要一个能够正确响应查询的稳健应用。检索增强生成（RAG）已经成为构建基于LLM应用的最重要框架。虽然构建RAG相对简单，但要使其稳健且成为可靠应用，则需要大量定制和较深的应用领域知识。我们分享了构建和部署用于私有组织文档问答的LLM应用的经验。我们的应用结合了RAG和经过微调的开源LLM。此外，我们称之为Tree-RAG（T-RAG）的系统，使用树结构表示组织中的实体层级关系。当响应涉及组织层级中实体的用户查询时，此树结构用于生成文本描述以增强上下文。我们的评估显示，这种组合优于简单的RAG或微调实现。最后，我们基于真实应用构建LLM的经验分享了一些教训。