대규모 언어 모델과 그 진화

인공지능(AI)의 급속한 발전과 함께, 대규모 언어 모델(LLM)은 자연어 처리(NLP) 연구 및 산업 응용의 기초 인프라가 되었다. 방대한 파라미터와 광범위한 사전 학습 데이터를 활용하여, LLM은 텍스트 이해, 생성 및 교차 모달 추론 능력을 크게 향상시켰다. 본 논문은 다섯 개의 주요 리뷰 논문을 바탕으로 n-그램 통계 모델에서 Transformer 아키텍처로의 LLM 기술 발전을 체계적으로 검토한다. 또한, 사전 학습 같은 훈련 및 정렬 패러다임을 분석하며, 두 번째로 가치 정렬 및 보안 통제 강화, 세 번째로 친환경적이고 효율적인 모델 압축 및 추론 방식 탐구, 네 번째로 공정성과 지속 가능성을 갖춘 차세대 범용 지능 시스템 구축을 위한 학제간 협력 활용을 제안한다.