대형 언어 모델의 자기 진화에 관한 조사

대형 언어 모델(LLM)은 다양한 분야와 지능형 에이전트 응용에서 크게 발전해 왔습니다. 그러나 인간이나 외부 모델 감독으로부터 학습하는 현재의 LLM은 비용이 많이 들고, 작업의 복잡성과 다양성이 증가함에 따라 성능 한계에 직면할 수 있습니다. 이 문제를 해결하기 위해, LLM이 모델 자체가 생성한 경험을 자율적으로 획득, 정제, 학습할 수 있는 자기 진화 접근법이 빠르게 성장하고 있습니다. 인간의 경험 학습 과정을 영감으로 한 이 새로운 훈련 패러다임은 LLM을 초지능으로 확장할 잠재력을 제공합니다. 본 연구에서는 LLM의 자기 진화 접근법에 대한 포괄적인 조사를 제시합니다. 먼저 자기 진화를 위한 개념적 틀을 제안하고, 경험 획득, 경험 정제, 업데이트, 평가의 네 단계로 구성된 반복적 사이클로 진화 과정을 개괄합니다. 둘째, LLM 및 LLM 기반 에이전트의 진화 목표를 분류하고, 관련 문헌을 요약하여 각 모듈에 대한 분류학과 통찰을 제공합니다. 마지막으로, 기존 과제를 지적하고 자기 진화 프레임워크를 개선하기 위한 향후 방향을 제안하여 연구자들이 자기 진화 LLM 개발을 가속화할 수 있도록 핵심 통찰을 제공합니다.