LLM 그래프 추론은 패턴 암기를 넘어 일반화될 수 있는가?

대형 언어 모델(LLM)은 암묵적인 그래픽 구조를 가진 문제에 대한 잠재력이 크며, 최근 연구에서는 특화된 지침 조정을 통해 LLM의 그래프 추론 능력을 향상시키려 하고 있습니다. 결과적으로 '그래프 LLM'은 분포 내 설정에서만 평가되므로, LLM이 일반화 가능한 그래프 추론 기술을 배우고 있는지 아니면 단순히 합성 훈련 데이터에서 패턴을 암기하고 있는지의 여부는 충분히 탐구되지 않았습니다. 이를 위해 우리는 NLGift 벤치마크를 제안합니다. 이는 LLM 그래프 추론 일반화의 평가 도구로, LLM이 합성 훈련 데이터의 의미적, 숫자적, 구조적, 추론 패턴을 넘어 실제 세계의 그래프 기반 작업에서 유용성을 향상시킬 수 있는지 여부를 평가합니다. 네 가지 그래프 추론 작업에 걸쳐 두 개의 LLM으로 폭넓은 실험을 수행한 결과, 단순 패턴(의미적, 숫자적)에서의 일반화는 다소 만족스럽지만, LLM은 추론 및 실제 세계 패턴에서 일반화하는 데 어려움을 겪어, 근본적인 네트워크 구조를 가진 실제 세계 작업을 위한 합성 그래프 조정의 이점에 의구심을 던집니다. 우리는 LLM 그래프 추론 일반화를 개선하기 위한 세 가지 전략을 탐구하며, 포스트 훈련 정렬이 실제 세계의 작업에 가장 유망한 것으로 나타나지만, 패턴 암기를 넘어 LLM 그래프 추론을 강화하는 것은 여전히 열린 연구 질문입니다.