AdaIR: 주파수 마이닝 및 변조를 통한 적응형 올인원 이미지 복원

이미지 획득 과정에서는 노이즈, 안개, 비 등 다양한 형태의 열화가 자주 발생합니다. 이러한 열화는 일반적으로 카메라의 고유 한계나 불리한 주변 환경 조건으로 인해 발생합니다. 열화된 이미지에서 깨끗한 이미지를 복원하기 위해 각기 특정 열화 유형을 대상으로 하는 수많은 특화된 복원 방법들이 개발되었습니다. 최근에는 입력 열화 유형에 대한 사전 정보 없이 하나의 모델로 다양한 유형의 열화를 처리하는 올인원 알고리즘이 큰 주목을 받고 있습니다. 그러나 이러한 방법들은 순수하게 공간 도메인에서만 작동하며, 서로 다른 열화 유형에 내재된 고유한 주파수 변화를 탐구하지 않습니다. 이를 해결하기 위해, 우리는 주파수 마이닝 및 변조에 기반한 적응형 올인원 이미지 복원 네트워크를 제안합니다. 우리의 접근법은 서로 다른 열화 유형이 이미지 내용에 서로 다른 주파수 서브밴드에서 영향을 미치므로 각 복원 작업마다 다른 처리가 필요하다는 관찰에서 출발합니다. 구체적으로, 우리는 먼저 적응적으로 분리된 열화된 이미지 스펙트럼을 기반으로 입력 특징에서 저주파 및 고주파 정보를 추출합니다. 추출된 특징들은 양방향 연산자에 의해 변조되어 서로 다른 주파수 성분 간의 상호작용을 촉진합니다. 마지막으로, 변조된 특징들은 점진적으로 안내되는 복원을 위해 원본 입력에 통합됩니다. 이 접근법을 통해 모델은 입력된 서로 다른 열화에 따라 정보가 풍부한 주파수 서브밴드를 강조하여 적응형 복원을 달성합니다. 광범위한 실험을 통해 제안한 방법은 노이즈 제거, 안개 제거, 빗물 제거, 모션 블러 제거, 저조도 이미지 향상 등 다양한 이미지 복원 작업에서 최첨단 성능을 보임을 입증했습니다. 우리의 코드는 https://github.com/c-yn/AdaIR 에서 확인할 수 있습니다.