AdaIR: 어댑터를 활용한 이미지 복원 작업의 근본적인 유사성 활용

기존의 이미지 복원 접근법은 보통 지정된 열화를 위해 특별히 훈련된 방대한 네트워크를 사용합니다. 효과적이긴 하지만, 이러한 방법들은 작업별 네트워크에 의존하기 때문에 상당한 저장 비용과 계산 오버헤드를 필연적으로 수반합니다. 본 연구에서는 이러한 확립된 틀을 넘어 이미지 복원 작업 간의 내재된 공통점을 활용합니다. 주요 목표는 복원 작업 전반에 공유 가능한 구성 요소를 식별하고, 개별 작업을 위해 특별히 훈련된 모듈로 공유 구성 요소를 보강하는 것입니다. 이를 위해 우리는 AdaIR을 제안하며, 이는 성능을 희생하지 않으면서도 낮은 저장 비용과 효율적인 훈련을 가능하게 하는 새로운 프레임워크입니다. 구체적으로는 합성 열화를 사용한 자체 지도 사전 훈련을 통해 일반적인 복원 네트워크를 먼저 구축합니다. 사전 훈련 단계를 거친 후, 어댑터를 훈련시켜 사전 훈련된 네트워크를 특정 열화에 적응시킵니다. AdaIR은 경량의 작업별 모듈만을 훈련하기 때문에 보다 효율적인 저장 및 훈련 체계를 보장합니다. 우리는 AdaIR의 효과를 검증하고, 공유 가능한 구성 요소 발견에 미치는 사전 훈련 전략의 영향을 분석하기 위해 광범위한 실험을 수행했습니다. 광범위한 실험 결과 AdaIR은 각 복원 작업에 대해 훨씬 적은 파라미터(1.9 MB)와 적은 훈련 시간(7시간)을 사용하면서도 다중 작업 복원에서 뛰어난 성능을 달성함을 보여줍니다. 소스 코드와 훈련된 모델은 공개될 예정입니다.