손안의 VFM: 모바일 증강현실을 위한 실시간 장면 이해 최적화

모바일 증강현실(AR) 애플리케이션은 몰입감 있고 상황에 맞는 사용자 경험을 가능하게 하기 위해 픽셀 수준의 깊이 및 의미 정보를 포함한 고품질 실시간 시각 예측을 요구합니다. 최근 Vision Foundation Models(VFM)은 다양하고 이전에 본 적 없는 데이터에 대해 우수한 일반화 능력을 제공하여 확장 가능한 모바일 AR 경험을 지원하고 있습니다. 그러나 VFM을 모바일 기기에 배포하는 것은 계산 능력 제한으로 인해 예측 정확도와 실시간 성능을 모두 유지하기 어렵다는 문제가 있습니다. 본 논문에서는 VFM의 온디바이스 추론 가속을 가능하게 하는 첫 번째 시스템인 ARIA 3를 제시합니다. ARIA는 모바일 프로세서의 이기종성을 활용한 병렬 및 선택적 추론 방식을 사용합니다: 전체 프레임 예측은 GPU와 같은 높은 병렬 처리 능력을 가진 프로세서에 주기적으로 오프로드되고, 동적 영역에 대한 저지연 업데이트는 NPU와 같은 특수 가속기를 통해 수행됩니다. 모바일 기기에서 구현 및 평가한 결과, ARIA는 실제 모바일 AR 시나리오에서 정확도와 마감 시간 성공률 모두에서 유의미한 향상을 달성하였습니다.