OwLore: 아웃라이어 가중층별 샘플링 저순위 투영을 통한 메모리 효율적인 LLM 미세 조정

대규모 언어 모델(LLMs)의 빠른 발전은 다양한 자연어 처리 작업에 혁신을 가져왔습니다. 그러나 LLM의 상당한 크기는 훈련 또는 미세 조정에 중대한 도전을 제기합니다. 저순위 적응(LoRA)과 같은 매개변수 효율적인 접근 방법이 인기를 얻고 있지만, 이것들은 종종 전체 순위 미세 조정에 비해 성능을 저하시킵니다. 본 논문에서는 LLM의 계층별 아웃라이어 분포에서 영감을 받은 새로운 메모리 효율적인 미세 조정 접근 방식인 아웃라이어 가중층별 샘플링 저순위 투영(OwLore)을 제안합니다. 우리는 먼저 HT-SR(Heavy-Tailed Self-Regularization) 이론의 관점에서 아웃라이어 현상을 해석하고, 아웃라이어가 더 많은 층이 더 중량 분포를 가지며 그 결과 더 잘 훈련된다는 것을 발견합니다. 이 발견에 영감을 받아 OwLore는 아웃라이어가 더 많은 층에 더 높은 샘플링 확률을 전략적으로 할당하여 사전 훈련된 LLM에 저장된 지식을 보다 잘 활용합니다. 또한 미세 조정의 메모리 요구를 더욱 완화하기 위해 경량 저순위 투영을 통합하여 각 층이 저순위 방식으로 효율적으로 훈련될 수 있도록 합니다. 저순위 및 최적의 계층별 샘플링의 효율적인 특성을 포함함으로써, OwLore는 LLM 가지치기에서 메모리-성능 간의 균형을 크게 개선합니다. LLaMa2, LLaMa3 및 Mistral을 포함한 다양한 아키텍처에 대한 광범위한 실험을 통해, OwLore는 전체 미세 조정을 포함한 기준 접근 방식에 지속적으로 성능을 초과함을 입증합니다. 특히 커먼센스 추론 벤치마크에서 최대 1.1% 평균 정확도를 달성하고, MMLU에서 3.0% 개선을, MT-Bench에서는 주목할 만한 10% 향상을 보이며, 더 많은 메모리 효율성을 유지합니다. OwLore는 21GB의 메모리만으로 LLaMa2-7B를 미세 조정할 수 있게 해줍니다.