ヒューマノイド全身操作のための視覚言語指導計画と制御

ヒューマノイドロボットは具現化された物理的知能の理想的なプラットフォームですが、移動操作の習得は依然として大きな課題です。Vision-Language Models（VLM）は高レベルの推論に優れていますが、複雑なロボットの動力学と統合することは困難です。本論文はこのギャップを埋める革新的な階層型制御フレームワークを提案します。我々のアプローチは、VLMを用いて曖昧な命令を実行可能なサブタスクのシーケンスに分解します。重要なのは、これらの計画を強化学習でシミュレーション訓練された全身コントローラが実行する点です。コントローラは上半身の乱れに強い堅牢な歩行方策を学習し、安定した操作行動の遂行を可能にします。我々は、困難なドア開放およびソケット差し込みタスクでフレームワークを検証し、VLMのデジタル知能とロボットの物理的知能を結びつける効果的な道筋を示します。