大型知识模型：观点与挑战

人类对世界的理解根本上与我们的感知和认知密切相关，而人类语言作为世界知识的主要载体之一。在此背景下，大型语言模型（LLMs）如 ChatGPT 体现了将广泛的、基于序列的世界知识预训练进神经网络的过程，从而促进了在参数空间中对该知识的处理和操作。本文从“知识”的视角探讨大型模型。我们首先考察象征性知识（如知识图谱（KGs））在增强 LLMs 方面的作用，涵盖知识增强语言模型、结构诱导预训练、知识性提示、结构化链式思维（CoT）、知识编辑、针对 LLM 的语义工具以及知识型 AI 代理。随后，我们研究 LLM 如何提升传统的象征性知识库，涉及使用 LLM 作为知识图谱构建者和控制者、结构化知识预训练，以及 LLM 增强的象征性推理。鉴于人类知识的复杂性，我们倡导创建大型知识模型（LKM），专门设计以管理多样化的知识结构光谱。这一有前途的工作将面临诸多关键挑战，如将知识库从语言模型中解耦、实现与人类知识的认知对齐、整合感知与认知，以及构建用于与物理世界交互的大型常识模型等。最后，我们提出了五个“A”原则以区分 LKM 的概念。