압축을 기준으로 한 대형 언어 모델(LLM) 순위 매기기

우리는 이해 과정을 정보 압축으로 개념화하고, 무손실 데이터 압축을 기반으로 대형 언어 모델(LLM)을 순위 매기는 방법을 제안합니다. 대형 언어 모델을 사전(prior)으로 사용할 때 산술 부호화 하에서의 압축 길이가 누적 음의 로그 확률과 동등함을 증명하였으며, 즉 모델의 사전 학습 단계는 최적 부호화 길이를 학습하는 과정입니다. 동시에 실제 압축 없이도 평가 지표인 압축 비율을 얻을 수 있어 큰 비용을 절감합니다. 본 논문에서는 다섯 개의 대형 언어 모델을 압축을 위한 사전으로 사용하여, 문장 완성, 질문 응답, 지시어 해소 등의 도전적인 자연어 처리 과제에서 그 성능을 비교합니다. 실험 결과 압축 비율과 모델 성능이 정(+)의 상관관계가 있음을 보여, 대형 언어 모델을 평가하는 일반적인 지표로 사용할 수 있음을 확인하였습니다.