ShareLoRA: 공유 저차원 적응을 통한 파라미터 효율적이고 견고한 대형 언어 모델 파인튜닝

본 연구는 사전학습 언어 모델(PLMs)을 위한 파라미터 효율적 파인튜닝(PEFT)을 최적화하기 위해 공유 저차원 적응(ShareLoRA)을 구현하는 방법을 소개합니다. ShareLoRA를 다양한 층에 전략적으로 배치하고 자기주의 층의 쿼리, 키, 밸류 구성 요소에 맞춰 적응시킴으로써 훈련 파라미터 수와 메모리 사용량을 크게 줄였습니다. 중요한 점은 ShareLoRA가 모델 성능을 유지할 뿐 아니라 RoBERTa, GPT-2, LLaMA, LLaMA2 등 다양한 모델에서 분류 및 생성 작업 모두에서 견고성을 보인다는 것입니다. 또한 표준 LoRA 적용에 비해 뛰어난 전이 학습 능력을 보여주며 층 간 가중치를 공유함으로써 과적합을 완화합니다. 본 연구 결과는 ShareLoRA가 다양한 언어 모델 아키텍처에서 파라미터 효율성을 효과적으로 향상시키면서 확장 가능하고 고품질의 성능을 보장함을 확인했습니다.