Detectando Ameaças de ML Adversarial em Fluxos de Trabalho Ágeis: Uma Perspectiva de Cibersegurança

O uso de machine learning (ML) no desenvolvimento ágil de software está se expandindo, criando novos riscos de cibersegurança, especialmente os adversariais, que visam fraquezas em seus modelos. Ataques de ML adversarial são a formulação de entradas que podem enganar ou invadir modelos de ML e frequentemente possuem pequenas perturbações imperceptíveis para humanos, mas devastadoras para a tomada de decisão algorítmica devido a essas pequenas perturbações. Tais vulnerabilidades podem passar despercebidas em ambientes onde velocidade, iteração e entrega contínua são essenciais, pois há pouco tempo disponível para realizar testes e validar em um nível mais elevado. Este artigo explora a detecção e eliminação de ameaças adversariais em ML, começando por uma abordagem baseada em segurança, isto é, fluxos de trabalho ágeis. Analisamos a aplicação em tempo real de ataques adversariais nos setores financeiro, moderação de conteúdo e sistemas autônomos. A análise realizada com algoritmos de ataque prontos (por exemplo, FGSM, PGD), nas peculiaridades da simulação, comprova a vulnerabilidade dos modelos usados na prática comum e a eficácia de estratégias de defesa, como o treinamento adversarial. O efeito dos possíveis vetores de ataque e a modelagem das defesas são representados por visualização. Alguns dos principais problemas identificados na segurança de ML em ambientes ágeis são a modelagem de ameaças adversariais, o baixo conhecimento em segurança entre as equipes de desenvolvimento e a infraestrutura de testes insuficiente. Por fim, sugerimos soluções para o estado atual e como integrar medidas robustas de defesa adversarial e resiliência em pipelines MLOps ágeis, mantendo a velocidade do desenvolvimento.