基于多模态语义的对抗样本检测方法

本发明属于信息安全领域，公开一种基于多模态语义的对抗样本检测方法，构建并训练对抗样本检测网络，使用多种不同文本生成网络提取特征，生成互补的图像描述；然后使用文本语义编码器提取不同图像描述中的文本语义；最后使用文本耦合器将互补的文本语义进行耦合，使用视觉语义编码器对原始干净样本和对抗样本图像进行视觉语义提取，得到对应的干净特征/对抗特征；使用异构语义对齐模块将文本语义和视觉语义在向量空间中高维映射并对齐；使用检测头来学习对齐后的视觉语义和文本语义的差异，最终检测出对抗样本。本发明联合视觉语义和文本语义，实现图像和语言间的异构语义对齐，采用多文本耦合器来整合多个互补语义，从而丰富了文本模态信息。