ロボット具現知能：言語モデル、精選された知識、マルチモーダルフィードバックを統合した複雑なタスクの成功

要約 予測不可能な環境（例：キッチン）で複雑なタスクを完遂することは、現在のロボットシステムにとって課題であり、機械知能の大幅な進歩を必要とします。感覚運動能力は人間の知能に不可欠と広く考えられています。したがって、自然に着想を得た機械知能は、人工知能とロボットの感覚運動能力を有効に組み合わせる可能性があります。この考えに基づき、我々は大規模言語モデル、精選された知識ベース、統合された力覚および視覚フィードバックをブートストラップした新しいフレームワークを作成しました（コードはオープンソースのGitHubリポジトリで利用可能）。この手法が、ロボットの予測不可能な環境での複雑なタスク完遂能力を変革すると仮説を立てました。我々はコーヒー作成と皿の装飾タスクを用いてこのアプローチを検証しました。本手法により、開閉から注ぎまでの各工程が異なるフィードバックタイプと方法の恩恵を受ける複雑なタスクをロボットが完遂可能となりました。この新しい組み合わせは、不確実な環境下で複雑なタスクを完遂できる、スケーラブルで効率的な「知能ロボット」への大きな進歩を示します。