CognitiveDog：基于大型多模态模型的四足机器人视觉与语言转动作系统

本文介绍了CognitiveDog，一种创新的四足机器人，配备了大型多模态模型（LMM），不仅能够与人类进行语言交流，还能通过物体操作与环境进行物理互动。该系统实现于装备定制夹爪的Unitree Go1机器人狗上，展示了自主决策能力，能独立确定最合适的动作和与各种物体的交互，以完成用户定义的任务。这些任务不一定包含直接指令，挑战机器人基于自然语言输入和环境线索理解并执行任务。本文深入探讨了该系统的复杂性、数据集特征和软件架构。该开发的关键在于机器人利用Visual-SLAM导航空间的能力，有效操作和运输物体，并在执行任务过程中提供富有洞察力的自然语言评论。实验结果突出显示了机器人先进的任务理解和适应能力，强调了其在实际应用中的潜力。用于微调机器人行为生成模型的数据集提供在以下链接：huggingface.co/datasets/ArtemLykov/CognitiveDogdataset