Locomoção e Manipulação a Longo Prazo em um Robô Quadrúpede com Grandes Modelos de Linguagem

Apresentamos um sistema baseado em grandes modelos de linguagem (LLM) para capacitar robôs quadrúpedes com habilidades de resolução de problemas para tarefas de longo prazo além dos movimentos de curto prazo. Tarefas de longo prazo para quadrúpedes são desafiadoras, pois requerem tanto uma compreensão de alto nível da semântica do problema para planejamento de tarefas quanto uma ampla gama de habilidades de locomoção e manipulação para interagir com o ambiente. Nosso sistema constrói uma camada de raciocínio de alto nível com grandes modelos de linguagem, que gera planos híbridos discretos-contínuos como código robótico a partir das descrições das tarefas. Ele compreende múltiplos agentes LLM: um planejador semântico para esboçar um plano, um calculador de parâmetros para prever argumentos no plano e um gerador de código para converter o plano em código executável para o robô. No nível inferior, adotamos aprendizado por reforço para treinar um conjunto de habilidades de planejamento e controle de movimento para liberar a flexibilidade dos quadrúpedes para interações ricas com o ambiente. Nosso sistema é testado em tarefas de longo prazo que são inviáveis de serem completadas com uma única habilidade. Experimentos em simulação e no mundo real mostram que ele consegue descobrir estratégias de múltiplos passos e demonstra comportamentos complexos, incluindo construir ferramentas ou notificar um humano para ajudar.