본 논문에서는 RMSNorm이 적용된 LLaMA 기반 언어 모델을 대상으로, 기존 Outlier Suppression+ 양자화 프레임워크의 scaling vector 탐색 알고리즘을 개선하여 저비트 양자화에서의 성능을 향상시키는 방법을 제안한다. LLaMA 활성화 값의 비대칭적 분포 특성을 고려하여 scaling 구간의 중심점을 활성화 통계에 따라 적응적으로 조정하는 전략을 도입하고, 양자화 후 분포 왜곡을 최소화하기 위해 목적 함수를 재설계하였다. 제안한 방법은 4-bit 양자화 환경에서 Perplexity 11.99를 달성하며 기존 OS+ 대비 유의미한 성능 향상을 보였다. 본 연구는 RMSNorm 기반 모델에서 shifting이 제한되는 구조적 제약을 보완하는 새로운 scaling 최적화 방향을 제시한다는 점에서 의의가 있다.
Kim et al. (Sat,) studied this question.