전송 인지 3D 위치 임베딩을 이용한 이미지 디헤이징 트랜스포머

단일 이미지 디헤이징이 합성곱 신경망(CNN)으로 유망한 발전을 이루었음에도 불구하고, 합성곱의 고유한 등변성과 지역성은 디헤이징 성능의 병목 현상이 됩니다. 트랜스포머가 다양한 컴퓨터 비전 과제를 점유하고 있지만, 이미지를 디헤이징하기 위해 트랜스포머를 직접 활용하는 것은 도전적입니다: 1) 이는 이미지 재구성을 위해 원치 않는 모호하고 거친 디테일을 초래하는 경향이 있습니다; 2) 이전의 트랜스포머 위치 임베딩은 논리적 또는 공간적 위치 순서로 제공되어 변동하는 헤이즈 밀도를 무시하며, 이로 인해 최적 이하의 디헤이징 성능이 발생합니다. 본 연구의 핵심 통찰은 이미지 디헤이징을 위해 CNN과 트랜스포머를 결합하는 방법을 조사하는 것입니다. 트랜스포머와 CNN 간 특징 불일치 문제를 해결하기 위해, 단순 피처 추가나 연결 대신 트랜스포머 특징에 조건화된 변조 행렬(즉, 계수 행렬 및 바이어스 행렬)을 학습하여 CNN 특징을 변조하도록 제안합니다. 이 특징 변조는 자연스럽게 트랜스포머의 전역 문맥 모델링 능력과 CNN의 지역 표현 능력을 계승합니다. 우리는 새로운 전송 인지 3D 위치 임베딩 모듈을 통해 트랜스포머에 헤이즈 밀도 관련 사전 지식을 도입하는데, 이는 상대 위치를 제공할 뿐만 아니라 다양한 공간 영역의 헤이즈 밀도를 제시합니다. 광범위한 실험을 통해 우리의 방법인 DeHamer가 여러 이미지 디헤이징 벤치마크에서 최첨단 성능을 달성함을 입증합니다.