대형 지식 모델: 관점과 도전

인류가 세계를 이해하는 것은 본질적으로 우리의 지각과 인지에 연결되어 있으며, 인간 언어는 세계 지식의 주요 매개체 중 하나로 작용합니다. 이러한 맥락에서 ChatGPT와 같은 대형 언어 모델(LLM)은 광범위한 순차적 세계 지식을 신경망에 사전 학습함으로써 이 지식을 파라메트릭 공간에서 처리하고 조작할 수 있게 합니다. 이 글에서는 "지식"의 관점에서 대형 모델을 탐구합니다. 우선 지식 그래프(KG)와 같은 상징적 지식이 LLM을 향상시키는 역할을 조사하며, 지식 강화 언어 모델, 구조 유도 사전 학습, 지식이 포함된 프롬프트, 구조화된 CoT, 지식 편집, LLM을 위한 의미적 도구 및 지식 기반 AI 에이전트 등을 다룹니다. 다음으로 LLM이 기존 상징적 지식 베이스를 어떻게 증강할 수 있는지 살펴보며, LLM을 KG 생성기 및 컨트롤러로 사용, 구조화된 지식 사전 학습, LLM 강화 상징적 추론 등을 포함합니다. 인간 지식의 복잡성을 고려하여 다양한 지식 구조 스펙트럼을 관리하도록 특별히 설계된 대형 지식 모델(LKM)의 구축을 제안합니다. 이 유망한 과제는 지식 베이스와 언어 모델의 분리, 인간 지식과의 인지적 정렬, 지각과 인지의 통합, 물리적 세계와 상호작용하는 대형 상식 모델 구축 등 여러 핵심 도전을 수반합니다. 마지막으로 LKM 개념을 구별하기 위한 5가지 "A" 원칙을 제안합니다.