重新审视可迁移对抗图像
重新审视可迁移对抗图像:系统化、评估和新见解。Zhengyu Zhao*, Hanwei Zhang*, Renjue Li*, Ronan Sicre, Laurent Amsaleg, Michael Backes, Qi Li, Qian Wang, Chao Shen。
我们发现常见评估实践中存在两个主要问题:
(1) 对于攻击可迁移性,缺乏系统的一对一攻击比较和公平的超参数设置;
(2) 对于攻击隐蔽性,根本没有进行评估。
我们通过以下方式解决这些问题:
(1) 引入完整的攻击分类,并对可迁移性进行系统和公平的类内分析;
(2) 考虑多样的不可感知性指标,并从攻击溯源的角度考虑更细粒度的隐蔽性特征。
我们得出新的见解,例如:
(1) 在公平的攻击超参数设置下,一种早期攻击方法DI实际上优于所有后续方法;
(2) 流行的基于扩散的防御给人一种虚假的安全感,因为它实际上很大程度上被(黑盒)可迁移攻击所绕过;
(3) 即使所有攻击都受相同Lp范数约束,它们导致的隐蔽性表现仍有显著差异,这与它们的可迁移性表现呈负相关。
我们提供了ImageNet上可迁移对抗样本的首个大规模评估,涉及23种具有代表性的攻击和9种具有代表性的防御。
我们揭示现有的有问题的评估确实导致了误导性结论和遗漏要点,因此阻碍了对该领域实际进展的评估。
评估的攻击和防御
攻击分类(欢迎更多论文!)
梯度稳定化攻击 [3种代表性攻击的代码]
- 利用动量提升对抗攻击(CVPR 2018)
- 对抗攻击的Nesterov加速梯度和尺度不变性(ICLR 2020)
- 通过增强动量提升对抗可迁移性(BMVC 2021)
- 利用空间动量提高对抗可迁移性(arXiv 2022)
- 使对抗样本更具可迁移性和不可区分性(AAAI2022)
- 通过实现平坦局部极大值提升对抗可迁移性(NeurIPS 2023)
- 通过动量集成梯度实现对视觉Transformer和卷积网络的可迁移对抗攻击(ICCV 2023)
- 通过梯度相关性攻击提升对抗可迁移性(ICCV 2023)
- 通过梯度归一化缩放和高频适应增强视觉Transformer上的可迁移对抗攻击(ICLR 2024)
- 通过邻域条件采样增强对抗可迁移性(arxiv 2024)
输入增强攻击 [5个代表性攻击的代码]
- 通过输入多样性提高对抗性样本的可迁移性 (CVPR 2019)
- 通过平移不变攻击逃避对可迁移对抗性样本的防御 (CVPR 2019)
- 用于对抗性攻击的Nesterov加速梯度和尺度不变性 (ICLR 2020)
- 用于欺骗深度神经网络的分块攻击 (ECCV 2020)
- 通过重新调整多样化输入、多样性集成和区域拟合提高对抗性样本的可迁移性 (ECCV 2020)
- 区域同质性:朝着学习可迁移的通用对抗性扰动以对抗防御 (ECCV 2020)
- 通过方差调整增强对抗性攻击的可迁移性 (CVPR 2021)
- Admix:增强对抗性攻击的可迁移性 (ICCV 2021)
- 通过基于对象的多样化输入提高目标对抗性样本的可迁移性 (CVPR 2022)
- 用于对抗性攻击的频域模型增强 (ECCV 2022)
- 用于基于迁移的对抗性攻击的自适应图像变换 (ECCV 2022)
- 通过反向对抗性扰动提高对抗性攻击的可迁移性 (NeurIPS 2022)
- 增强可迁移目标攻击的自我普适性 (CVPR 2023)
- 通过路径增强方法提高对抗性样本的可迁移性 (CVPR 2023)
- 终极组合:通过组合数据增强来提高对抗性样本的可迁移性 (arXiv 2023)
- 用于更好对抗性可迁移性的结构不变变换 (ICCV 2023)
- 通过变形约束扭曲提高跨模型类别的对抗性可迁移性 (AAAI 2024)
- 通过块混洗和旋转提高对抗性可迁移性 (CVPR 2024)
- 学习动态变换以获得更好的对抗性可迁移性 (CVPR 2024)
- 通过局部混合和自适应步长提高对抗性样本的可迁移性 (arXiv 2024)
- 排版引导语义多样化:增强跨多模态大型语言模型的对抗性可迁移性 (arXiv 2024)
- 通过集成渐近正态分布学习的强可迁移对抗性攻击 (CVPR 2024)
- 学习动态变换以获得更好的对抗性可迁移性 (CVPR2024)
特征破坏攻击 [5个代表性攻击的代码]
- 可迁移对抗性扰动 (ECCV 2018)
- 基于感知度量的任务通用对抗性攻击 (arXiv 2018)
- 特征空间扰动产生更可迁移的对抗性样本 (CVPR 2019)
- FDA:特征破坏攻击 (ICCV 2019)
- 通过中间层攻击增强对抗性样本可迁移性 (ICCV 2019)
- 深度特征分布的可迁移扰动 (ICLR 2020)
- 通过注意力机制提高对抗性样本的可迁移性 (CVPR 2020)
- 朝向可迁移的目标攻击 (CVPR 2020)
- 又一种中间层攻击 (ECCV 2020)
- 扰动整个特征层次结构以提高标准和严格黑盒攻击的可迁移性 (NeurIPS 2020)
- 特征重要性感知的可迁移对抗性攻击 (ICCV 2021)
- 通过基于神经元归因的攻击提高对抗性可迁移性 (CVPR 2022)
- 基于线性回归的中间层攻击框架 (TPAMI 2022)
- 通过清洁特征混合引入竞争以提高目标对抗性样本的可迁移性 (CVPR 2023)
- 多样化高层特征以获得更好的对抗性可迁移性 (BMVC 2023)
- 通过中间层扰动衰减提高对抗性可迁移性 (NeurIPS 2023)
- 通过融合前1位分解特征的逻辑提高对抗性可迁移性 (arXiv 2023)
替代模型改进攻击 [5种代表性攻击的代码]
- 通过幽灵网络学习可迁移的对抗样本 (AAAI 2020)
- 跳跃连接很重要:关于使用ResNets生成的对抗样本的可迁移性 (ICLR 2020)
- 线性反向传播提高对抗样本的可迁移性 (NeurIPS 2020)
- 平滑反向传播提高对抗样本的可迁移性 (CVPRw 2021)
- 一点鲁棒性就能产生很大影响:利用鲁棒特征进行定向迁移攻击 (NeurIPS 2021)
- 早停和对抗训练产生更好的替代模型:非常不鲁棒的特征损害对抗性可迁移性 (OpenReview 2021)
- 用于提高对抗性可迁移性的随机方差降低集成对抗攻击 (CVPR 2022)
- 训练元替代模型以实现可迁移的对抗攻击 (arXiv 2021)
- 改进视觉Transformer的对抗可迁移性 (ICLR2022)
- 从数据分布角度重新思考对抗可迁移性 (ICLR 2022)
- 利用暗知识提高替代模型的对抗可迁移性 (arXiv 2022)
- 针对视觉Transformer的可迁移对抗攻击 (AAAI 2022)
- 通过令牌梯度正则化实现视觉Transformer的可迁移对抗攻击 (CVPR 2023)
- 最小化模型最大差异以实现可迁移的黑盒定向攻击 (CVPR 2023)
- 可迁移定向对抗样本研究 (CVPR 2023)
- StyLess:提高对抗样本的可迁移性 (CVPR 2023)
- 如何为可迁移攻击选择最佳盟友? (ICCV 2023)
- 用于提高对抗可迁移性的自适应模型集成对抗攻击 (ICCV 2023)
- 对抗可迁移性的反向传播路径搜索 (ICCV 2023)
- 更进一步:平坦度拯救早停以增强对抗样本的可迁移性 (arXiv 2023)
- 使替代模型更贝叶斯化可以增强对抗样本的可迁移性 (ICLR 2023)
- 对抗攻击的模糊-膨胀方法 (NeurIPS 2023)
- 重新思考对抗可迁移性的反向传播 (NeurIPS 2023)
- 重新思考基于迁移的对抗攻击中的模型集成 (ICLR 2024)
- 为什么一点鲁棒性就能产生帮助?理解和改进替代训练中的对抗可迁移性 (S&P 2024)
- 通过类激活映射集成攻击增强对抗攻击的隐蔽性和可迁移性 (NDSS 2024)
- 通过模型自增强改进可迁移定向对抗攻击 (CVPR 2024)
- AGS:用于可迁移对抗攻击的经济实惠且通用的替代训练 (AAAI 2024)
- 集成多样性促进对抗可迁移性 (CVPR 2024)
生成建模攻击
- 生成对抗扰动 (CVPR 2018)
- 对抗扰动的跨域可迁移性 (NeurIPS 2019)
- 生成可迁移的定向扰动 (ICCV 2021)
- 学习可迁移的对抗扰动 (NeurIPS 2021)
- 超越ImageNet攻击:针对黑盒领域制作对抗样本 (ICLR 2022)
- 通过层级生成网络提高定向对抗样本的可迁移性 (ECCV 2022)
- 具有模式注入的动态生成定向攻击 (CVPR 2023)
- 可迁移定向对抗样本研究 (CVPR 2023)
- 向简单样本扰动提高定向对抗可迁移性 (NeurIPS 2023)
调查/评估/解释
- 深入研究可迁移对抗样本和黑盒攻击(ICLR 2017)
- 可迁移对抗样本的空间(arXiv 2017)
- 为什么对抗攻击可以迁移?解释规避和投毒攻击的可迁移性(USENIX Security 2019)
- 源图像的选择严重影响对抗攻击的有效性(BMVC 2021)
- 关于成功和简单性:再看可迁移定向攻击(NeurIPS 2021)
- 评估ImageNet上的对抗攻击:错误分类类别的现实检查(NeurIPSw 2021)
- 解释和增强对抗可迁移性的统一方法(ICLR 2021)
- 迁移攻击重新审视:真实计算机视觉环境下的大规模实证研究(IEEE S&P 2022)
- 系统性、实用性和公平性地评估基于迁移的攻击(NeurIPS 2023)
- 超越界限:人工智能系统可迁移攻击的全面调查(arXiv 2023)
- 深度神经网络间对抗样本可迁移性的调查(arXiv 2023)
- 提升对抗可迁移性的技巧集锦(arXiv 2024)