이미지 분류를 위한 통합 비대칭 지식 증류 프레임워크

개요 지식 증류는 교사 네트워크가 학습한 지식을 학생 네트워크로 전달하는 모델 압축 기법입니다. 기존의 지식 증류 방법들은 지식의 형태를 크게 확장시켰지만, 증류 모델을 복잡하고 대칭적으로 만들기도 했습니다. 그러나 이러한 방법들 간의 공통점을 탐구한 연구는 거의 없습니다. 본 연구에서는 이러한 방법들을 통합하는 간결한 증류 프레임워크와 해당 프레임워크 하에서 비대칭 지식 증류를 구현하는 방법을 제안합니다. 비대칭 증류는 서로 다른 증류 대상에 대해 차별화된 지식 전달을 가능하게 하는 것을 목표로 합니다. 우리는 서로 다른 지식 표현을 증류하기 위해 다단계 얕고 넓은 분기 방식을 설계하였고, 네트워크가 선택적으로 가르치고 학습하도록 감독하기 위한 그룹 앙상블 전략을 제안하였습니다. 이에 따라 이미지 분류 벤치마크를 사용하여 제안한 방법을 검증하는 실험을 수행했습니다. 실험 결과는 본 구현이 기존 방법들에 비해 상당한 성능 향상을 달성할 수 있음을 보여주어, 방법의 효과성과 프레임워크의 가능성을 입증하였습니다.