面向多模态生成任务的对抗样本生成方法及设备

本发明提供了一种面向多模态生成任务的对抗样本生成方法及设备。所述方法包括：将初始化的通用对抗扰动δ添加到无扰动图像上，得到扰动图像；将所述扰动图像输入到代理模型的视觉编码器中，得到图像嵌入；将所述图像嵌入与提示词一同输入文本解码器生成扰动文本；确定图文对数据，学习通用对抗扰动在推理时破坏目标数据集中的图文关联，误导目标模型；采用对抗模态解耦策略，增大干净样本和对抗样本的特征距离；针对跨VLPMs和MLLMs的扰动，采用逐步递归方法扰乱模型的生成机制，随机筛选一组候选标记，作为递归扰动标记；采用多模态解耦策略，最大化损失函数。本发明在扰动有效性和可迁移性方面均优于相关技术。