Plan-Seq-Learn: 장기 로봇 작업 해결을 위한 언어 모델 기반 강화학습(RL)

대형 언어 모델(LLM)은 장기 로봇 작업에 대한 고수준 계획 수립이 가능함이 입증되었으나, 기존 방법들은 미리 정의된 스킬 라이브러리(예: 집기, 놓기, 당기기, 밀기, 탐색)에 접근해야 합니다. 그러나 LLM 계획은 이러한 행동을 설계하거나 학습하는 방법을 다루지 않으며, 특히 장기 작업 환경에서는 여전히 도전적입니다. 더구나 많은 관심 작업에서 로봇은 세밀하게 행동을 조정할 수 있어야 하며, 이를 위해 에이전트는 저수준 제어 행동을 수정할 수 있어야 합니다. 인터넷 규모의 LLM 지식을 고수준 정책에 활용하여, 사전에 정의된 스킬 집합 없이도 온라인에서 강화학습(RL) 정책으로 로봇 제어 작업을 효율적으로 해결할 수 있을까요? 본 논문에서는 Plan-Seq-Learn(PSL)을 제안합니다. PSL은 추상적 언어와 학습된 저수준 제어 간의 간극을 모션 플래닝으로 연결하는 모듈 방식으로, 장기 로봇 작업을 처음부터 해결합니다. 우리는 PSL이 최대 10단계에 이르는 25개 이상의 도전적 로봇 작업에서 최첨단 성과를 달성함을 보였습니다. PSL은 네 가지 벤치마크의 원시 시각 입력으로부터 장기 작업을 85% 이상의 성공률로 해결하며, 언어 기반, 고전적, 엔드투엔드 접근법보다 우수합니다. 비디오 결과 및 코드는 https://mihdalal.github.io/planseqlearn/ 에서 확인할 수 있습니다.