언어 모델의 물리학: 2.2부, 초등학교 수학 문제에서 실수로부터 배우는 방법

언어 모델은 추론 작업에서 놀라운 성능을 보여주었지만, 가장 강력한 모델조차도 때때로 추론 실수를 범합니다. 최근에는 사전 훈련된 언어 모델을 활용하여 다중 라운드 프롬프트를 통해 스스로의 실수를 "자가 교정"하게 하여 추론 정확도를 향상시키는 연구가 활발히 진행되고 있습니다. 본 논문에서는 이와 같은 연구 흐름을 따르면서도, "오류 수정" 데이터를 사전 훈련 단계에 직접 포함시키는 것의 유용성을 이해하는 데 초점을 맞춥니다. 이 데이터는 오류가 있는 해결 단계 직후에 그 수정 단계가 바로 이어지는 형태로 이루어져 있습니다. 합성 수학 데이터셋을 사용하여, 이러한 종류의 사전 훈련 데이터가 동일한 양의 오류 없는 데이터 대비 언어 모델이 더 높은 추론 정확도를 직접 달성하는 데 도움이 될 수 있음을 보여줍니다(즉, 다중 라운드 프롬프트 없이 단순 자동 회귀를 통해). 또한 (1) 이 접근법이 빔 서치와 어떻게 다른지, (2) 이러한 데이터를 어떻게 준비할 수 있는지, (3) 오류 토큰에 대해 마스킹이 필요한지 여부, (4) 필요한 오류의 양, (5) 이러한 데이터를 미세 조정 단계로 미룰 수 있는지 여부 등 다양한 세부사항을 탐구합니다.