Key points are not available for this paper at this time.
대규모 언어 모델(LLM) 훈련의 높은 비용 때문에, 제한된 계산 자원을 사용하여 비용 효율적으로 특정 작업에 특화시키는 대안으로 미세 조정이 부상했습니다. 본 논문에서는 단일 GPU에서 정확도와 실행 성능을 이해하기 위해 희소 Mixture of Experts(MoE) 기반 LLM 미세 조정을 특성화합니다. 평가를 통해 희소 및 밀집 MoE 모델의 훈련 효율성뿐만 아니라 최대 배치 크기, 실행 시간 분해, 종단 간 처리량, GPU 하드웨어 활용률, 로드 분포 등 실행 특성에 대한 독특한 통찰을 제공합니다. 우리의 연구는 LLM 미세 조정 성능 향상을 위해 MoE 계층의 최적화가 중요함을 밝힙니다. 프로파일링 결과를 바탕으로 GPU 아키텍처 및 모델 매개변수를 기반으로 한 분석 모델을 개발 및 검증하여 클라우드에서의 LLM 미세 조정 비용을 추정합니다. 이 모델은 처리량과 훈련 비용을 예측하여 산업 및 학계 실무자가 특정 모델의 미세 조정 비용을 예산하는 데 도움을 줍니다.
Building similarity graph...
Analyzing shared references across papers
Loading...
Yuchen Xia
J. Kim
Yuhan Chen
Building similarity graph...
Analyzing shared references across papers
Loading...
Xia 등(목요일,)이 이 질문을 연구했습니다.
www.synapsesocial.com/papers/68e5d23bb6db643587567dc7 — DOI: https://doi.org/10.48550/arxiv.2408.04693
Synapse has enriched 5 closely related papers on similar clinical questions. Consider them for comparative context: