자연 발생 적대적 예시들

우리는 기계 학습 모델의 성능을 현저히 저하시키는 두 가지 도전적인 데이터셋을 소개합니다. 이 데이터셋들은 한정된 허위 단서를 갖도록 단순한 적대적 여과 기술로 수집되었습니다. 우리의 데이터셋은 현실 세계의 수정되지 않은 예시들이 다양한 미지의 모델에 신뢰성 있게 전이되어, 컴퓨터 비전 모델들이 공유하는 약점을 입증합니다. 첫 번째 데이터셋은 IMAGENET-A로, ImageNet 테스트 세트와 유사하지만 기존 모델들에게 훨씬 더 어렵습니다. 또한 IMAGENET 모델을 위해 최초로 만들어진 적대적 분포이탈 탐지 데이터셋인 IMAGENET-O도 큐레이션 했습니다. IMAGENET-A에서는 DenseNet-121이 약 2%의 정확도를 기록하며, 약 90%의 정확도 감소를 보이고, IMAGENET-O에서의 분포이탈 탐지 성능은 무작위 수준에 근접합니다. 기존 데이터 증강 기법들은 성능 향상을 거의 가져오지 못하며, 다른 공개 학습 데이터셋을 사용하는 것도 제한적인 개선만 제공합니다. 그러나 컴퓨터 비전 아키텍처의 향상이 강인한 모델을 향한 유망한 경로라는 점을 발견했습니다.