변형 가능한 합성곱 신경망

합성곱 신경망(CNN)은 구성 모듈 내 고정된 기하학적 구조 때문에 기하학적 변환을 모델링하는 데 본질적인 한계가 있습니다. 본 연구에서는 CNN의 변환 모델링 능력을 향상시키기 위해 변형 가능한 합성곱과 변형 가능한 RoI 풀링이라는 두 가지 새로운 모듈을 소개합니다. 두 모듈 모두 모듈 내 공간 샘플링 위치에 추가 오프셋을 더하고, 대상 과제에서 오프셋을 학습하는 아이디어에 기반하며, 추가 감독 없이 학습이 가능합니다. 새로운 모듈은 기존 CNN의 해당 기본 모듈을 바로 대체할 수 있고, 표준 역전파로 쉽고 종단 간(end-to-end) 학습이 가능하여 변형 가능한 합성곱 신경망을 구현할 수 있습니다. 광범위한 실험을 통해 본 접근법의 성능을 검증하였으며, 처음으로 심층 CNN에서 밀집 공간 변환 학습이 객체 탐지 및 의미 분할 같은 정교한 시각 작업에 효과적임을 보여주었습니다. 코드가 https://github.com/msracver/Deformable-ConvNets 에 공개되어 있습니다.