Explorando Ambientes Desconhecidos com Robôs Usando Grandes Modelos de Linguagem e Visão por meio de uma Representação Proceduralmente Gerada de Cenas 3D

Avanços recentes em Inteligência Artificial Generativa, particularmente no domínio dos Grandes Modelos de Linguagem (LLMs) e Grandes Modelos de Linguagem e Visão (LVLMs), possibilitaram a perspectiva de aproveitamento de planejadores cognitivos em sistemas robóticos. Este trabalho foca em resolver o problema de navegação com objetivo de objeto imitando a cognição humana para atender, perceber e armazenar informações específicas da tarefa e gerar planos com base nelas. Apresentamos uma estrutura abrangente capaz de explorar um ambiente desconhecido em busca de um objeto, aproveitando as capacidades dos Grandes Modelos de Linguagem (LLMs) e dos Grandes Modelos de Linguagem e Visão (LVLMs) na compreensão da semântica subjacente do nosso mundo. Uma tarefa desafiadora no uso de LLMs para gerar subobjetivos de alto nível é representar eficientemente o ambiente ao redor do robô. Propomos usar uma representação modular de cena 3D, com descrições semanticamente ricas do objeto, para fornecer ao LLM informações relevantes para a tarefa. Contudo, prover o LLM com uma grande quantidade de informação contextual (representação semântica rica da cena 3D) pode levar a planos redundantes e ineficientes. Propomos usar um podador baseado em LLM que aproveita as capacidades de aprendizado em contexto para eliminar informações irrelevantes específicas do objetivo.