基于多模态预训练模型的通用对抗噪声生成方法及系统

本发明提供了一种基于多模态预训练模型的通用对抗噪声生成方法及系统，具有这样的特征，步骤S1构建训练特征提取器；步骤S2构建并初始化对抗噪声；步骤S3选取干净样本并添加对抗噪声得到对应的对抗样本；步骤S4对各个训练特征提取器，提取对应的所有对抗样本的特定模态特征，并提取目标数据的目标模态特征；步骤S5根据对应的所有特定模态特征和目标模态特征，计算得到对抗噪声的梯度；步骤S6将各个训练特征提取器对应的梯度进行聚合，并根据聚合结果更新对抗噪声；步骤S7重复步骤S3～6，直至达到预设终止条件则得到通用噪声。总之，本方法能够生成具有任务迁移性的通用对抗噪声，从而对任意多模态模型的安全性进行检测。