面向VLP模型的多模态对齐增强迁移攻击方法

本发明公开了一种面向VLP模型的多模态对齐增强迁移攻击方法，对于所选择的干净样本中的图像进行多次增强，得到增强图像，对干净样本中的每个文本进行反向攻击增强得到增强文本，将增强文本和原始文本合并得到混合样本集，以增强图像引导混合样本集优化得到对抗样本，然后以对抗样本为指导优化对抗图像，从而得到对抗样本。本发明通过图像增强和文本增强，构建多对多的图像‑文本对齐关系，增强对抗样本的跨模型攻击能力。