Despliegue de robots aéreos y terrestres habilitados con modelos fundamentales en el campo: Desafíos y oportunidades

La integración de modelos fundamentales (FMs) en la robótica ha permitido que los robots comprendan el lenguaje natural y razonen sobre la semántica en sus entornos. Sin embargo, los robots habilitados con FMs existentes operan principalmente en entornos de mundo cerrado, donde al robot se le proporciona un mapa previo completo o tiene una vista completa de su área de trabajo. Este artículo aborda el despliegue de robots habilitados con FM en el campo, donde las misiones a menudo requieren que un robot opere en entornos a gran escala y no estructurados. Para llevar a cabo estas misiones de manera efectiva, los robots deben explorar activamente sus entornos, navegar por terrenos llenos de obstáculos, manejar entradas inesperadas de sensores y operar con limitaciones de computación. Discutimos despliegues recientes de SPINE, nuestro marco de autonomía habilitado con LLM, en entornos robóticos de campo. A nuestro leal saber y entender, presentamos la primera demostración de planificación robótica a gran escala habilitada por LLM en entornos no estructurados con misiones de varios kilómetros. SPINE es agnóstico a un LLM particular, lo que nos permite destilar pequeños modelos de lenguaje capaces de ejecutarse a bordo en plataformas con limitaciones de tamaño, peso y potencia (SWaP). A través de un trabajo preliminar de destilación de modelos, presentamos además el primer planificador de UAV impulsado por lenguaje que utiliza modelos lingüísticos en el dispositivo. Concluimos nuestro artículo proponiendo varias direcciones prometedoras para investigación futura.