摘要
本发明涉及智能安全技术领域,具体涉及一种基于通用扰动表征学习的多模态对抗样本生成系统及方法,包括:确定多模态数据集和替代模型;基于多模态数据集中的样本中的图像和所述替代模型进行扰动初始化处理,获取对抗扰动的初始值;进行样本构建,获取样本中图像的锚样本、正样本和负样本的特征向量和样本中文本的负样本的特征向量;进行模态内和模态间对比学习,获取多模态损失,更新所述对抗扰动;直到所述多模态损失收敛,最后输出所述对抗扰动;对任意所述样本中的图像叠加所述对抗扰动,得到对抗样本;本发明能够提高对抗样本生成的效率和迁移性。
技术关键词
多模态
样本生成方法
生成系统
数据
表达式
文本编码器
图像编码器
模块
符号
算法
索引
指数