다중 에이전트 강화 학습(MARL)은 자기 대결을 통해 복잡한 다중 플레이어 게임 문제를 해결하는 데 상당한 진전을 이루었습니다. 그러나 효과적인 적대적 정책을 훈련하려면 수백만 개의 경험 샘플과 막대한 계산 자원이 필요합니다. 게다가 이러한 정책은 해석 가능성이 부족하여 실제 적용에 장애가 됩니다. 최근 연구자들은 대규모 언어 모델(LLM)을 성공적으로 활용하여 단일 에이전트 작업에서 신경망 기반 정책을 해석 가능한 규칙 기반 코드로 변환하고 높은 실행 효율성을 가진 프로그램 정책을 생성하는 데 성공하였습니다. 이를 참고하여 본 연구에서는 다중 플레이어 게임에서 프로그램 정책을 생성하기 위한 일반 프레임워크인 PolicyEvolve를 제안합니다. PolicyEvolve는 수작업으로 작성된 정책 코드에 대한 의존도를 현저히 줄이고 최소한의 환경 상호작용으로 고성능 정책을 달성합니다. 이 프레임워크는 Global Pool, Local Pool, Policy Planner, Trajectory Critic의 네 모듈로 구성됩니다. Global Pool은 반복 훈련 과정에서 축적된 엘리트 정책을 보존하고 Local Pool은 현재 반복에서 임시로 생성된 정책을 저장하며, 이 풀에서 충분히 높은 성능을 보인 정책만이 Global Pool로 승격됩니다. Policy Planner는 핵심 정책 생성 모듈로서, Global Pool에서 상위 세 개의 정책을 샘플링하고 환경 정보를 바탕으로 현재 반복에 대한 초기 정책을 생성한 뒤 Trajectory Critic의 피드백을 이용해 이를 정제합니다. 정제된 정책은 Local Pool에 저장됩니다. 이 반복 과정은 정책이 Global Pool에 대해 충분히 높은 평균 승률을 달성할 때까지 계속되며, 해당 시점에서 정책은 Global Pool에 통합됩니다. Trajectory Critic은 현재 정책과의 상호작용 데이터를 분석하여 취약점을 식별하고 Policy Planner를 위한 방향성 개선안을 제안합니다.
Lv 등(Sun,)이 이 문제를 연구했습니다.