VFM nas Suas Mãos: Otimizando a Compreensão de Cena em Tempo Real para Realidade Aumentada Móvel

Aplicações de Realidade Aumentada (AR) móvel exigem predições visuais de alta qualidade em tempo real, incluindo profundidade e semântica em nível de pixel, para permitir experiências imersivas e contextualmente conscientes para o usuário. Recentemente, Vision Foundation Models (VFMs) têm oferecido fortes capacidades de generalização em dados diversos e não vistos, suportando experiências escaláveis de AR móvel. No entanto, implementar VFMs em dispositivos móveis é desafiador devido às limitações computacionais, especialmente para manter tanto a precisão da predição quanto o desempenho em tempo real. Neste artigo, apresentamos o ARIA 3, o primeiro sistema que permite aceleração de inferência on-device de um VFM. ARIA utiliza a heterogeneidade dos processadores móveis por meio de um esquema de inferência paralelo e seletivo: a predição de quadro completo é periodicamente descarregada para um processador com alta capacidade de paralelismo, como GPU, enquanto atualizações de baixa latência em regiões dinâmicas são realizadas via um acelerador especializado como NPU. Implementado e avaliado usando dispositivos móveis, o ARIA obteve melhorias significativas na precisão e na taxa de sucesso dentro do prazo em cenários reais de AR móvel.