一种多模态遥感图像的对抗样本生成方法

本发明公开了一种多模态遥感图像的对抗样本生成方法，包括以下步骤：构建伪孪生生成对抗网络，利用生成器将遥感图像同时生成两个模态的添加到干净样本的扰动，并构造特定模态鉴别器以限制生成的对抗样本在感知上与真实样本相似；采用潜在特征损失，捕获不同模态间的潜在特征关系，从同一个符合正态分布的噪声向量同时生成光学对抗样本和SAR对抗样本；采用协同对抗损失迫使两个模态的扰动对多模态遥感图像分类网络分类结果具有相似的扰动方向；输出遥感图像。本申请设计了协同对抗损失来协调不同模态的攻击以防止不同模态的攻击方向相冲突，对不同对抗攻击方法和不同攻击模态数量的鲁棒性。