메타 대형 언어 모델 컴파일러: 컴파일러 최적화의 기초 모델

대형 언어 모델(LLMs)은 다양한 소프트웨어 엔지니어링 및 코딩 작업에서 뛰어난 능력을 보여주었습니다. 그러나 코드 및 컴파일러 최적화 분야에서의 적용은 아직 충분히 탐구되지 않았습니다. LLM 훈련은 막대한 GPU 시간과 광범위한 데이터 수집을 필요로 하여 많은 자원이 소모됩니다. 이러한 문제를 해결하기 위해, 우리는 코드 최적화 작업에 특화된 견고하고 공개된 사전 학습 모델 세트인 Meta Large Language Model Compiler(LLM Compiler)를 소개합니다. Code Llama를 기반으로 구축된 LLM Compiler는 컴파일러 중간 표현(IR), 어셈블리 언어, 최적화 기법에 대한 이해를 강화합니다. 이 모델은 5460억 토큰에 달하는 LLVM-IR 및 어셈블리 코드 대규모 코퍼스에서 훈련되었으며, 컴파일러 동작을 해석하기 위한 지시문 세분화 미세 조정(instruction fine-tuning)을 거쳤습니다. LLM Compiler는 광범위한 재사용을 허용하는 맞춤형 상업 라이선스 하에 출시되었으며 70억 및 130억 파라미터의 두 가지 규모로 제공됩니다. 우리는 또한 이 모델의 미세 조정 버전을 제공하여 코드 크기 최적화 및 x86₆4 및 ARM 어셈블리에서 LLVM-IR로 다시 디스어셈블하는 데 있어 향상된 성능을 입증합니다. 이들은 자동 튜닝 탐색의 77% 최적화 잠재력과 45%의 디스어셈블 라운드 트립(정확 일치 14%)을 달성합니다. 이번 발표는 학계 연구자와 산업 실무자 모두가 컴파일러 최적화 연구 및 개발을 확장 가능하고 비용 효율적으로 진행할 수 있는 기반을 제공하는 것을 목표로 합니다.