RISE：3D知覚により現実世界のロボット模倣を簡単かつ効果的に

正確なロボット操作には、模倣学習において豊富な空間情報が必要です。画像ベースの方策は固定カメラから物体の位置をモデル化しますが、カメラの視野変化に弱いです。3D点群を利用する方策は一般的に連続的な動作ではなくキーフレームを予測するため、動的かつ接触が多い状況で困難があります。3D知覚を効率的に活用するために、我々はRISEを提案します。RISEは単一視点の点群から直接連続動作を予測する現実世界模倣学習のエンドツーエンドベースラインです。スパース3Dエンコーダで点群をトークンに圧縮し、スパース位置符号化を加えた後、トランスフォーマーで特徴抽出を行います。最後に、拡散ヘッドで特徴量をロボット動作にデコードします。各現実タスクに対して50のデモンストレーションで訓練されたRISEは、現行の代表的な2Dおよび3D方策を大幅に上回り、精度と効率の両面で大きな優位性を示します。実験では、RISEが従来のベースラインよりも環境変化に対して一般性と堅牢性に優れていることも実証しています。プロジェクトサイト：rise-policy.github.io。