MoRA: 매개변수 효율적 미세 조정을 위한 고계급 업데이트

저계급 적응은 대형 언어 모델에 널리 사용되는 매개변수 효율적 미세 조정 방법입니다. 본 논문에서는 LoRA에 구현된 저계급 업데이트의 영향을 분석합니다. 연구 결과 저계급 업데이트 메커니즘이 LLM들이 새로운 지식을 효과적으로 학습하고 기억하는 능력을 제한할 수 있음을 시사합니다. 이러한 관찰에 영감을 받아 동일한 학습 매개변수 수를 유지하면서 고계급 업데이트를 달성하기 위해 정방행렬을 사용하는 새로운 방법 MoRA를 제안합니다. 이를 위해, 정방행렬에 대해 입력 차원을 줄이고 출력 차원을 늘리는 해당 비매개변수 연산자를 도입합니다. 또한 이 연산자들은 가중치를 LLM에 다시 병합할 수 있도록 하여, 우리의 방법이 LoRA처럼 배포될 수 있게 만듭니다. 우리는 명령어 튜닝, 수학적 추론, 연속 사전학습, 기억 및 사전학습의 다섯 가지 과제에 걸쳐 방법을 종합적으로 평가했습니다. 우리의 방법은 기억 집약적 과제에서 LoRA를 능가하며 기타 과제에서는 동등한 성능을 달성합니다.