언어 모델의 물리학: 파트 2.1, 초등학교 수학과 숨겨진 추론 과정

최근 언어 모델의 발전으로 수학적 추론 문제를 해결할 수 있는 능력이 입증되었으며, GSM8K와 같은 초등학교 수준 수학 벤치마크에서 거의 완벽한 정확도를 달성했습니다. 본 논문에서는 언어 모델이 이러한 문제를 어떻게 해결하는지 정식으로 연구합니다. 여러 기본적인 질문을 해결하기 위해 일련의 통제된 실험을 설계했습니다: (1) 언어 모델이 진정으로 추론 능력을 개발하는가, 아니면 단순히 템플릿을 암기하는가? (2) 모델의 숨겨진 (정신적) 추론 과정은 무엇인가? (3) 모델은 인간과 유사한 기술로 수학 문제를 해결하는가, 아니면 다른 방식인가? (4) GSM8K와 유사한 데이터셋으로 훈련된 모델이 GSM8K 문제 해결을 넘어서는 추론 능력을 갖추는가? (5) 모델이 추론 오류를 범하게 하는 정신적 과정은 무엇인가? (6) GSM8K 수준의 수학 문제를 효과적으로 해결하기 위해 모델은 얼마나 크거나 깊어야 하는가? 본 연구는 언어 모델이 수학 문제를 해결하는 많은 숨겨진 메커니즘을 밝혀내어, 현재 LLM의 이해를 넘어서는 통찰을 제공합니다.