目前, 许多广泛应用的神经网络模型并非基于静态数据训练, 而是需要适应不断变化的新增数据. 类增量学习(cil)应运而生, 通过逐步更新模型以应对新旧数据的分布差异, 防止模型发生灾难性遗忘. 然而, 随着新类别的加入, 模型的知识域发生剧烈变化, 导致对抗扰动随着增量学习的进行而失效. 为解决类增量学习场景下对抗样本易失效的问题, 本文提出了一种基于语义强化的有目标对抗样本生成方法. 核心思想是以“强化对抗扰动的目标类语义”为优化目标, 分三步提升对抗样本在类增量学习过程中的鲁棒性:(1) 候选样本生成与语义筛选: 利用扩散模型生成目标类样本, 并结合初始模型的预测熵对样本进行筛选, 从中选取具有强目标类语义的样本; (2) 浅层语义特征提取: 基于模型浅层特征在类增量学习过程中的稳定性, 提取目标类样本的浅层语义信息. (3) 基于语义约束的对抗样本生成: 设计一组语义约束函数,使对抗样本在特征空间中同时“靠近目标类、远离非目标类”, 从而生成鲁棒的对抗样本. 本文综合实验表明, 在类别规模提升至10倍时, 本文方法的平均攻击成功率相比基准方法提升了39.38%.
Liu et al. (Wed,) studied this question.