从语言到行动：开放环境下自主机器人的分层多模态框架

传统的任务规划方法在多样化场景中通常缺乏泛化能力，而大型语言模型（LLMs）虽具备开放世界推理能力，却难以与物理环境和机器人系统对齐。为解决此限制，我们提出了一个分层多模态LLMs-机器人框架，整合了三个模块。定位模块将多模态输入映射为PDDL表示以提供上下文定位。规划模块利用基本库生成任务序列。执行模块在机器人平台上优化并执行基本操作。该框架还探讨了模糊指令在语言与机器人交互中的作用，利用多模态定位将自然语言与现实世界语境关联。涵盖三个真实场景的广泛实验，包括消融研究，验证了该框架的有效性。系统在拾取放置任务中展现出可靠性能，在要求空间及几何推理的长远任务中显著提升。结果表明该框架支持复杂环境中的自适应决策，有助于缩小LLMs、机器人系统与物理世界之间的差距。