InfuserKI: 인퓨저-가이드 지식 통합을 통한 대규모 언어 모델의 지식 그래프 강화

대규모 언어 모델(LLM)은 다양한 분야에서 뛰어난 오픈 생성 능력을 보여주었으나, 지식 집약적인 작업에서는 어려움을 겪습니다. 이를 완화하기 위해, 외부 모듈을 사용해 도메인 특화 지식 그래프로 LLM을 강화하는 지식 통합 방법들이 제안되었습니다. 그러나 이들은 미세 조정을 위해 알려진 지식과 알려지지 않은 지식을 모두 필요로 하여 데이터 비효율성 문제가 있습니다. 따라서 우리는 알려진 지식의 불필요한 중복 없이 알려지지 않은 지식을 효과적으로 LLM에 통합하는 새로운 문제를 연구합니다. 새로운 지식 주입은 기존에 습득한 지식의 망각 위험을 동반합니다. 이를 해결하기 위해, 본 연구에서는 트랜스포머 내부 상태를 활용해 원래 LLM 출력에 추가 정보를 강화할지 여부를 결정하는 새로운 Infuser-Guided Knowledge Integration(InfuserKI) 프레임워크를 제안하며, 이를 통해 지식 망각을 효과적으로 완화합니다. UMLS-2.5k 및 MetaQA 도메인 지식 그래프 평가 결과, InfuserKI는 새로운 지식을 효과적으로 습득할 수 있으며, 지식 망각 감소에서 최첨단 기준 대비 각각 9% 및 6% 우수한 성능을 보였습니다.