基于自适应令牌微调的视觉注意力迁移性对抗攻击方法

本发明涉及一种基于自适应令牌微调的视觉注意力迁移性对抗攻击方法，包括如下步骤：利用代理模型中间层构建特征重要矩阵，生成语义引导的稀疏掩码，将稀疏掩码与初始化的扰动进行令牌级点乘后再与原图进行线性叠加作为初始输入数据；将输入数据输入到代理模型中进行迭代训练；在每轮迭代训练中不断更新稀疏掩码并逐渐增加丢弃的令牌数量，利用梯度惩罚因子和平衡因子通过梯度反向传播来减小代理模块中各层之间的梯度方差，同时针对代理模型的不同模块分别设计了自适应的截断因子集来弱化模型的注意力机制，经过T次的迭代训练，最大化目标损失函数获得最优的迁移性扰动。通过实验验证了该方法对目标模型的攻击具有更好的攻击效果及迁移性。