ThiNet: 딥 뉴럴 네트워크 압축을 위한 필터 레벨 가지치기 방법

우리는 ThiNet이라는 효율적이고 통합된 프레임워크를 제안하여 훈련 및 추론 단계 모두에서 CNN 모델을 동시에 가속화하고 압축합니다. 우리는 필터 레벨 가지치기, 즉 중요도가 낮은 전체 필터를 제거하는 것에 중점을 둡니다. 본 방법은 원래의 네트워크 구조를 변경하지 않아, 어떤 상용 딥러닝 라이브러리에서도 완벽히 지원할 수 있습니다. 우리는 필터 가지치기를 최적화 문제로 공식화하고, ThiNet을 기존 방법과 구별하는 점으로 현재 층이 아니라 다음 층에서 계산된 통계 정보를 기반으로 필터를 가지치기해야 함을 밝혔습니다. 실험 결과는 이 전략의 효과를 입증하며, 이는 최신 기술 수준을 앞당겼습니다. 또한 ILSVRC-12 벤치마크에서 ThiNet의 성능도 보여줍니다. ThiNet은 VGG-16에서 3.31배 FLOPs 감소와 16.63배 압축을 달성하면서도 탑-5 정확도는 단 0.52%만 하락했습니다. ResNet-50에 대한 유사한 실험은, 컴팩트한 네트워크에서도 ThiNet이 약 1%의 탑-5 정확도 손실로 파라미터와 FLOPs를 절반 이상 줄일 수 있음을 보여줍니다. 게다가 원래 VGG-16 모델을 5.05MB 크기의 매우 작은 모델로 추가 가지치기할 수 있으며, AlexNet 수준의 정확도를 유지하면서 훨씬 강한 일반화 능력을 나타냅니다.