SIFT 플로우: 장면 간 밀집 대응 및 그 응용

이미지 정렬은 수십 년간 컴퓨터 비전의 다양한 분야에서 연구되었지만, 서로 다른 장면을 묘사하는 이미지 정렬은 여전히 도전적인 문제입니다. 시간적으로 인접한 프레임에 이미지를 정렬하는 optical flow에 비유하여, 다양한 장면을 포함하는 대규모 이미지 말뭉치에서 이미지와 가장 가까운 이웃을 정렬하는 SIFT flow 방법을 제안합니다. SIFT flow 알고리즘은 공간 불연속성을 보존하면서 두 이미지 간에 밀집 샘플링된 픽셀 단위 SIFT 특징을 매칭하는 것을 포함합니다. SIFT 특징은 서로 다른 장면/객체의 외관 변화에도 강건한 매칭을 가능하게 하며, 불연속성 보존 공간 모델은 장면의 다른 부분에 위치한 객체 매칭을 허용합니다. 실험 결과, 제안된 방법은 상당한 공간적 차이가 있는 복잡한 장면 쌍을 강건하게 정렬하는 것을 보여줍니다. SIFT flow를 기반으로, 밀집 장면 대응에 따라 최근접 이웃에서 쿼리 이미지로 이미지 정보를 전송하는 정렬 기반 대형 데이터베이스 프레임워크를 이미지 분석 및 합성을 위해 제안합니다. 이 프레임워크는 단일 이미지에서의 운동장 예측, 객체 전이를 통한 운동 합성, 위성 이미지 정합, 얼굴 인식과 같은 구체적인 응용을 통해 입증됩니다.