VFM in Ihren Händen: Optimierung des Echtzeit-Szenenverständnisses für Mobile Augmented Reality

Mobile Augmented Reality (AR)-Anwendungen erfordern hochwertige Echtzeitvorhersagen, einschließlich Tiefen- und Semantikinformationen auf Pixelebene, um immersive und kontextbewusste Benutzererlebnisse zu gewährleisten. Kürzlich haben Vision Foundation Models (VFMs) starke Generalisierungsfähigkeiten auf vielfältigen und unbekannten Daten gezeigt, was skalierbare mobile AR-Erlebnisse unterstützt. Die Bereitstellung von VFMs auf mobilen Geräten ist jedoch aufgrund von Rechenbeschränkungen herausfordernd, insbesondere um sowohl Vorhersagegenauigkeit als auch Echtzeit-Leistung zu gewährleisten. In diesem Artikel stellen wir ARIA 3 vor, das erste System, das eine beschleunigte Vorhersage eines VFM auf dem Gerät ermöglicht. ARIA nutzt die Heterogenität mobiler Prozessoren durch ein paralleles und selektives Inferenzschema: Die Vollbildvorhersage wird periodisch an einen Prozessor mit hoher Parallelitätsfähigkeit wie die GPU ausgelagert, während Niedriglatenz-Updates dynamischer Bereiche über einen spezialisierten Beschleuniger wie die NPU durchgeführt werden. Implementiert und bewertet auf mobilen Geräten, erzielte ARIA signifikante Verbesserungen der Genauigkeit und Erfolgsrate hinsichtlich der Termintreue in realen mobilen AR-Szenarien.