利用检索增强生成式人工智能提升数据工程与知识发现

检索增强生成（Retrieval-Augmented Generation, RAG）现已成为通过结合基于外部知识的检索与生成技术，增强大型语言模型（LLMs）能力的强大技术。本文提出的新范式——检索增强生成式人工智能，涉及智能数据工程和知识发现领域。所建议的系统将数据摄取、预处理、语义检索和生成推理结合为一个流程，以提升数据解释和洞察生成能力。该框架通过基于嵌入的检索和基于上下文的生成，最大限度地减少幻觉现象并提高准确性。对模拟数据的实验评估表明，所提模型较传统大型语言模型及现有RAG模型更准确、检索更快、且具备更好扩展性。结果显示，在数据工程操作中引入检索机制，有助于实现更多知识发现和辅助决策。