능동 추론과 학습

이 논문은 선택 행동과 학습에 대한 능동 추론 관점을 제시합니다. 목표 지향 행동과 습관적 행동의 구분 및 이들이 서로를 어떻게 맥락화하는지에 초점을 맞춥니다. 에이전트가 상태-행동 정책을 갖추었을 때 순차적 정책 최적화로부터 습관이 자연스럽게(그리고 자습적으로) 나타남을 보여줍니다. 능동 추론에서 행동은 각각 모호성과 위험에 민감한 탐색적(인식론적) 측면과 활용적(실용적) 측면을 가지며, 인식론적(모호성 해소) 행동이 실용적(보상 추구) 행동과 습관의 이후 출현을 가능하게 합니다. 목표 지향 및 습관적 정책은 일반적으로 모델 기반과 모델 자유 체계와 연관되지만, 더 중요한 구분은 신념 비의존과 신념 기반 체계 사이에 있음을 발견합니다. 근본적인(변분) 신념 갱신은 도파민 반응의 전이, 역학습, 습관 형성 및 가치 하락 등 여러 현상에 대해 포괄적인(비유적이나마) 과정 이론을 제공합니다. 마지막으로, 능동 추론은 모호성이 없을 경우 고전적인(벨만) 체계로 환원됨을 보여줍니다.