نموذج VFM في يديك: تحسين فهم المشهد في الوقت الحقيقي للواقع المعزز على الأجهزة المحمولة

تتطلب تطبيقات الواقع المعزز المحمول (AR) تنبؤاً بصرياً عالي الجودة ووقت فعلي، بما في ذلك العمق ومستويات الدلالات على مستوى البكسل، لتمكين تجارب مستخدم غامرة وواعية بالسياق. مؤخراً، قدمت نماذج الأساس البصرية (VFMs) قدرات تعميم قوية على بيانات متنوعة وغير مرئية، مما يدعم تجارب واقع معزز محمولة قابلة للتوسع. ومع ذلك، فإن نشر VFMs على الأجهزة المحمولة يشكل تحدياً بسبب القيود الحاسوبية، خاصة في الحفاظ على دقة التنبؤ وأداء الوقت الحقيقي معاً. في هذه المقالة، نقدم ARIA 3، أول نظام يتيح تسريع الاستنتاج على الجهاز لنموذج أساسي بصري. يستخدم ARIA تنوع معالجات الأجهزة المحمولة من خلال مخطط استنتاج متوازي وانتقائي: يتم تحميل التنبؤ بالإطار الكامل بشكل دوري إلى معالج ذو قدرة توازي عالية مثل GPU، في حين تجرى التحديثات منخفضة الكمون على المناطق الديناميكية عبر معجل متخصص مثل NPU. تم تنفيذ وتقييم النظام باستخدام أجهزة محمولة، حيث حقق ARIA تحسينات كبيرة في الدقة ومعدل نجاح الالتزام بالمهل الزمنية في سيناريوهات واقع معزز محمولة واقعية.