월드 모델을 위한 잠재 동적 강인 표현 학습

비주얼 모델 기반 강화 학습(MBRL)은 환경의 근본적인 역학에 대한 에이전트의 지식을 캡슐화하여 유용한 플래너로서 월드 모델을 학습할 수 있게 한다. 그러나 Dreamer와 같은 최상위 MBRL 에이전트들은 관찰 공간 내 외부 또는 무관한 잡음이 존재할 때 시각적 픽셀 기반 입력 처리에 어려움을 겪는데, 이는 무관한 시공간적 세부사항을 걸러내면서 과제 특이적 특징을 포착하지 못하기 때문이다. 이 문제를 해결하기 위해, 우리는 시공간 마스킹 전략과 이중 시뮬레이션 원리, 그리고 잠재 재구성을 결합하여 월드 모델을 위한 내인적인 과제 특이적 환경 요소를 포착하고 비본질적 정보를 효과적으로 제거한다. 표현, 역학, 정책의 공동 학습은 종종 불안정성을 야기한다. 이 문제를 추가로 해결하기 위해, 우리는 효과적인 정책 학습을 위한 상태 표현의 강인성을 향상시키는 하이브리드 순환 상태 공간 모델(HRSSM) 구조를 개발했다. 우리의 실험 평가는 Matterport 환경의 외부 방해 요소가 포함된 Maniskill gu2023maniskill2와 같은 시각적으로 복잡한 제어 과제에서 기존 방법 대비 상당한 성능 향상을 보여준다. 우리의 코드는 https://github.com/bit1029public/HRSSM 에서 이용할 수 있다.