Aprimorando a Manipulação Robótica Baseada em LLM através da Colaboração Humano-Robô

Modelos de Linguagem de Grande Porte (LLMs) estão ganhando popularidade na área de robótica. No entanto, robôs baseados em LLM estão limitados a movimentos simples e repetitivos devido à integracão insuficiente entre modelos de linguagem, robôs e o ambiente. Este artigo propõe uma abordagem inovadora para aprimorar o desempenho da manipulação autônoma baseada em LLM por meio da Colaboração Humano-Robô (HRC). A abordagem envolve o uso do modelo de linguagem GPT-4 com prompts para decompor comandos de linguagem de alto nível em sequências de movimentos que podem ser executados pelo robô. O sistema também emprega um algoritmo de percepção baseado em YOLO, fornecendo pistas visuais ao LLM, o que auxilia no planejamento de movimentos viáveis dentro do ambiente específico. Adicionalmente, um método de HRC é proposto combinando teleoperação e Primitivas de Movimento Dinâmico (DMP), permitindo que o robô baseado em LLM aprenda com a orientação humana. Experimentos no mundo real foram conduzidos utilizando o Toyota Human Support Robot para tarefas de manipulação. Os resultados indicam que tarefas que requerem planejamento complexo de trajetórias e raciocínio sobre ambientes podem ser realizadas eficientemente através da incorporação de demonstrações humanas.