Repensando a Lacuna Corporificada na Navegação Visão-e-Linguagem: Um Estudo Holístico das Disparidades Físicas e Visuais

Avanços recentes na Navegação Visão-e-Linguagem (VLN) são promissores, mas suas suposições idealizadas sobre movimento e controle de robôs não refletem os desafios de implantação fisicamente incorporados. Para preencher essa lacuna, apresentamos o VLN-PE, uma plataforma VLN fisicamente realista que suporta robôs humanoides, quadrúpedes e com rodas. Pela primeira vez, avaliamos sistematicamente vários métodos egocêntricos de VLN em ambientes robóticos físicos por diferentes pipelines técnicos, incluindo modelos de classificação para previsão de ações discretas em um passo, um modelo de difusão para previsão densa de pontos de passagem, e um grande modelo de linguagem (LLM) baseado em mapa e sem necessidade de treinamento integrado a planejamento de caminho. Nossos resultados revelam degradação significativa de desempenho devido ao espaço limitado de observação do robô, variações de iluminação ambiental e desafios físicos como colisões e quedas. Isso também expõe restrições de locomoção para robôs com pernas em ambientes complexos. VLN-PE é altamente extensível, permitindo integração fluida de novas cenas além do MP3D, possibilitando uma avaliação mais abrangente da VLN. Apesar da fraca generalização dos modelos atuais em implantação física, VLN-PE oferece um novo caminho para melhorar a adaptabilidade geral entre corporações. Esperamos que nossas descobertas e ferramentas inspirem a comunidade a repensar as limitações da VLN e avancem modelos de VLN robustos e práticos. O código está disponível em https: //crystalsixone. github. io/vlnₚe. github. io/.