エキスパートコンポーザーポリシー：四足歩行ロボットのためのスケーラブルなスキルレパートリー

我々は四足歩行エージェントのスキルレパートリーを信頼性高く拡張するフレームワークとしてエキスパートコンポーザーポリシーを提案する。コンポーザーポリシーは専門家ペアをサンプリングされた目標状態への遷移を通じて連結し、専門家を順次組み合わせることを可能にする。各専門家は歩行ゲイトやジャンプ動作など単一のスキルに特化している。階層型や混合専門家アーキテクチャの代わりに、我々は他の専門家ポリシーに条件付けされない独立したプロセスで単一のコンポーザーポリシーを訓練する。同じコンポーザーポリシーを再利用することで、本手法は既存の専門家に影響を与えずに新たな専門家を追加可能とし、スキルレパートリーの段階的拡張と元の動作品質の保持を可能にする。72個の遷移ペアの遷移成功率を測定し、平均で99.99％の成功率を達成した。これはベースラインのランダム手法より10％以上高く、他の最先端手法よりも優れている。訓練時にドメインランダム化を用いることで現実世界への成功する転移を保証し、実験では平均遷移成功率97.22％（N=360）を達成している。