VFM en tus manos: optimizando la comprensión en tiempo real de escenas para la Realidad Aumentada móvil

Las aplicaciones de Realidad Aumentada (AR) móvil requieren predicciones visuales en tiempo real de alta calidad, incluyendo profundidad y semántica a nivel de píxel, para permitir experiencias de usuario inmersivas y con conciencia contextual. Recientemente, los Vision Foundation Models (VFMs) han ofrecido fuertes capacidades de generalización sobre datos diversos y no vistos, apoyando experiencias escalables de realidad aumentada móvil. Sin embargo, desplegar VFMs en dispositivos móviles es desafiante debido a limitaciones computacionales, particularmente en mantener tanto la precisión de predicción como el rendimiento en tiempo real. En este artículo, presentamos ARIA 3, el primer sistema que permite la aceleración de inferencia en el dispositivo de un VFM. ARIA emplea la heterogeneidad de los procesadores móviles mediante un esquema de inferencia paralelo y selectivo: la predicción de cuadro completo se delega periódicamente a un procesador con alta capacidad de paralelismo como la GPU, mientras que las actualizaciones de baja latencia en regiones dinámicas se realizan a través de un acelerador especializado como la NPU. Implementado y evaluado usando dispositivos móviles, ARIA logró mejoras significativas en precisión y tasa de cumplimiento de plazos en escenarios reales de AR móvil.