Ataques Práticos de Caixa-Preta contra Aprendizado de Máquina

Modelos de aprendizado de máquina (ML), por exemplo, redes neurais profundas (DNNs), são vulneráveis a exemplos adversariais: entradas maliciosas modificadas para gerar saídas errôneas do modelo, enquanto aparentam não estar modificadas a observadores humanos. Ataques potenciais incluem ter conteúdo malicioso como malware identificado como legítimo ou controlar o comportamento de veículos. No entanto, todos os ataques existentes com exemplos adversariais requerem conhecimento dos internos do modelo ou de seus dados de treinamento. Introduzimos a primeira demonstração prática de um atacante controlando uma DNN hospedada remotamente sem tal conhecimento. De fato, a única capacidade do nosso adversário de caixa-preta é observar os rótulos dados pela DNN às entradas escolhidas. Nossa estratégia de ataque consiste em treinar um modelo local para substituir a DNN alvo, usando entradas geradas sinteticamente pelo adversário e rotuladas pela DNN alvo. Usamos o substituto local para criar exemplos adversariais, e constatamos que eles são classificados incorretamente pela DNN alvo. Para realizar uma avaliação do mundo real e devidamente às cegas, atacamos uma DNN hospedada pela MetaMind, uma API online de aprendizado profundo. Descobrimos que a DNN deles classifica incorretamente 84,24% dos exemplos adversariais criados com nosso substituto. Demonstramos a aplicabilidade geral de nossa estratégia para muitas técnicas de ML ao conduzir o mesmo ataque contra modelos hospedados pela Amazon e Google, usando substitutos de regressão logística. Eles produzem exemplos adversariais classificados incorretamente pela Amazon e Google em taxas de 96,19% e 88,94%. Também descobrimos que essa estratégia de ataque de caixa-preta é capaz de evadir estratégias de defesa previamente encontradas para tornar a criação de exemplos adversariais mais difícil.