주의(attention)에서 추론(inference)까지 - 대형 언어 모델의 기술적 연구

Key Points

• 이 논문은 자연어 처리에 사용되는 Transformer 아키텍처에 대한 상세한 기술 개요를 제공하는 것을 목표로 한다.
• 자체 주의(self-attention), 토큰화(tokenization), 위치 인코딩(positional encoding) 등 Transformer 아키텍처의 핵심 구성 요소를 검토한다.
• 인코더 전용, 디코더 전용, 인코더-디코더 등의 모델 군을 논의한다.
• KV 캐싱, 처리량, VRAM 사용량과 같은 시스템 수준 고려사항을 분석한다.
• 기계학습과 NLP 분야 실무자 및 학생들을 위한 체계적인 참고자료를 제시한다.
• 효과적인 추론을 위해 사전학습(pretraining)과 미세조정(fine-tuning)의 중요성을 강조한다.
• 모델 성능에 중요하게 작용하는 최초 토큰 시간(Time to First Token) 등의 지표를 논의한다.

Abstract