आपके हाथों में VFM: मोबाइल ऑगमेंटेड रियलिटी के लिए रियल-टाइम दृश्य समझ को अनुकूलित करना

मोबाइल ऑगमेंटेड रियलिटी (AR) अनुप्रयोगों में उच्च गुणवत्ता, रियल-टाइम दृश्य भविष्यवाणी की आवश्यकता होती है, जिसमें पिक्सेल-स्तर की गहराई और सेमैंटिक्स शामिल हैं, ताकि उपयोगकर्ताओं को एक समग्र और संदर्भ-संज्ञानात्मक अनुभव प्रदान किया जा सके। हाल ही में, विजन फाउंडेशन मॉडल (VFM) ने विविध और अप्रयुक्त डेटा पर मजबूत सामान्यीकरण क्षमताएं प्रदान की हैं, जो स्केलेबल मोबाइल AR अनुभवों का समर्थन करते हैं। हालांकि, मोबाइल उपकरणों पर VFM को तैनात करना चुनौतीपूर्ण है क्योंकि इसमें गणनात्मक सीमाएं होती हैं, खासकर भविष्यवाणी की सटीकता और रियल-टाइम प्रदर्शन दोनों को बनाए रखने में। इस लेख में, हम ARIA 3 प्रस्तुत करते हैं, जो एक VFM के ऑन-डिवाइस इन्फरेंस त्वरक को सक्षम करने वाली पहली प्रणाली है। ARIA मोबाइल प्रोसेसरों की विषमता का उपयोग एक समानांतर और चयनात्मक इन्फरेंस योजना के माध्यम से करता है: पूर्ण-फ्रेम भविष्यवाणी को समय-समय पर GPU जैसे उच्च समानांतरता वाले प्रोसेसर को सौंपा जाता है, जबकि गतिशील क्षेत्रों पर निम्न-विलंबता अपडेट NPU जैसे विशेष त्वरक के माध्यम से किए जाते हैं। मोबाइल उपकरणों पर लागू और मूल्यांकित, ARIA ने वास्तविक मोबाइल AR परिदृश्यों में सटीकता और डेडलाइन सफलता दर में महत्वपूर्ण सुधार प्राप्त किया।