실용적인 블랙박스 공격: 기계 학습 대상

기계 학습(ML) 모델, 예를 들어 심층 신경망(DNN)은 적대적 예제에 취약합니다: 악의적으로 수정된 입력으로 모델 출력을 오류가 발생하도록 하지만 인간 관찰자에게는 변형되지 않은 것처럼 보입니다. 가능한 공격에는 악성코드가 정상으로 식별되거나 차량 행동을 제어하는 것이 포함됩니다. 그러나 기존의 모든 적대적 예제 공격은 모델 내부 또는 훈련 데이터에 대한 지식이 필요합니다. 우리는 이러한 지식 없이 원격 호스팅된 DNN을 제어하는 공격자의 첫 실용적 시연을 소개합니다. 실제로, 우리의 블랙박스 공격자가 할 수 있는 유일한 능력은 선택한 입력에 대해 DNN이 제공하는 라벨을 관찰하는 것입니다. 우리의 공격 전략은 공격자가 합성 생성한 입력과 대상 DNN이 부여한 라벨을 사용해 대상 DNN을 대체할 지역 모델을 훈련시키는 것입니다. 지역 대체 모델을 사용해 적대적 예제를 제작했고, 대상 DNN에서 오분류됨을 확인했습니다. 실제 환경에서 적절히 가려진 평가를 수행하기 위해 MetaMind가 호스팅하는 DNN을 공격했습니다. 그들의 DNN은 우리의 대체 모델로 만든 적대적 예제를 84.24% 오분류했습니다. 동일 공격을 Amazon과 Google이 호스팅하는 모델에 대해 로지스틱 회귀 대체모델로 수행하여 다수의 ML 기법에 적용 가능함을 입증했습니다. Amazon과 Google에서는 각각 96.19%, 88.94%의 오분류율을 기록했습니다. 또한 이 블랙박스 공격 전략은 이전에 제작을 어렵게 만든 방어 전략을 회피할 수 있음을 발견했습니다.