VFM entre vos mains : Optimiser la compréhension de scène en temps réel pour la réalité augmentée mobile

Les applications de Réalité Augmentée (AR) mobile exigent des prédictions visuelles de haute qualité en temps réel, incluant la profondeur et la sémantique au niveau des pixels, afin de permettre des expériences utilisateur immersives et contextuelles. Récemment, les Vision Foundation Models (VFMs) ont offert de solides capacités de généralisation sur des données diverses et inédites, soutenant des expériences AR mobiles évolutives. Cependant, déployer les VFMs sur des appareils mobiles est difficile en raison des limitations computationnelles, notamment pour maintenir à la fois la précision des prédictions et les performances en temps réel. Dans cet article, nous présentons ARIA 3, le premier système permettant l'accélération d'inférence on-device d'un VFM. ARIA exploite l'hétérogénéité des processeurs mobiles via un schéma d'inférence parallèle et sélective : la prédiction pleine trame est périodiquement déléguée à un processeur avec une haute capacité de parallélisme comme le GPU, tandis que des mises à jour basse latence sur des régions dynamiques sont effectuées via un accélérateur spécialisé comme le NPU. Implémenté et évalué sur des appareils mobiles, ARIA a atteint des améliorations significatives en précision et en taux de réussite dans le respect des délais sur des scénarios mobiles AR réels.