중간에서 길을 잃다: 언어 모델이 긴 문맥을 사용하는 방식

초록 최근 언어 모델은 긴 문맥을 입력으로 처리할 수 있는 능력을 갖추었지만, 이들이 긴 문맥을 얼마나 잘 활용하는지에 대해서는 상대적으로 알려진 바가 적다. 우리는 입력 문맥 내에서 관련 정보를 식별해야 하는 두 가지 작업, 즉 다문서 질의응답과 키-값 검색에서 언어 모델의 성능을 분석하였다. 관련 정보의 위치를 변경할 경우 성능이 크게 저하됨을 발견했으며, 이는 현재의 언어 모델이 긴 입력 문맥 내 정보를 견고하게 활용하지 못함을 시사한다. 특히 관련 정보가 입력 문맥의 시작이나 끝에 있을 때 성능이 가장 높은 반면, 명시적으로 긴 문맥 모델임에도 불구하고 긴 문맥 중간에 있는 관련 정보에 접근해야 할 경우 성능이 현저히 저하되는 것을 관찰하였다. 본 분석은 언어 모델이 입력 문맥을 활용하는 방식을 더 잘 이해하게 해주며, 향후 긴 문맥 언어 모델 평가를 위한 새로운 평가 프로토콜을 제공한다.