PhaseEvo: 대형 언어 모델을 위한 통합 문맥 내 프롬프트 최적화를 향하여

대형 언어 모델(LLMs)에 이상적인 프롬프트를 만드는 작업은 막대한 자원과 전문적인 인간의 투입을 요구하는 어려운 과제입니다. 기존 연구는 프롬프트 지시문 최적화와 문맥 내 학습 예시 최적화를 별개의 문제로 다루어, 최적화되지 않은 프롬프트 성능을 초래합니다. 본 연구는 프롬프트 지시문과 예시의 공동 최적화를 목표로 하는 통합 문맥 내 프롬프트 최적화 프레임워크를 구축함으로써 이 한계를 극복합니다. 그러나 불연속적이며 고차원적인 자연어 공간에서 이러한 최적화를 공식화하는 것은 수렴 및 계산 효율성 측면에서 도전을 제기합니다. 이를 해결하기 위해 우리는 LLM의 생성 능력과 진화 알고리즘의 전역 탐색 숙련도를 결합한 효율적인 자동 프롬프트 최적화 프레임워크 PhaseEvo를 제안합니다. 본 프레임워크는 검색 효율성을 향상시키고 수렴 속도를 가속화하는 혁신적인 LLM 기반 돌연변이 연산자를 통합한 다단계 설계를 특징으로 합니다. 35개 벤치마크 작업에 걸친 광범위한 평가 결과, PhaseEvo는 최신 기법 대비 큰 폭으로 우수한 성능과 좋은 효율성을 유지함을 입증했습니다.