样本净化方法、装置、设备及介质

本申请公开了一种样本净化方法、装置、设备及介质，属于人工智能技术领域。该方法包括：获取对抗样本，对抗样本是对干净样本执行对抗攻击后生成的样本，对抗样本中包括对抗图像和文本；向对抗图像添加第一噪声后得到加噪图像；计算加噪图像对应的加噪跨模态注意力，加噪跨模态注意力用于描述加噪图像和文本的注意力分布；基于加噪跨模态注意力向对抗图像添加第二噪声，得到净化图像。本申请以跨模态注意力为引导，通过在对抗图像中添加噪声以实现净化，这种净化方式不仅是在处理对抗图像，同时也在优化跨模态注意力机制本身。视觉语言模型基于净化图像可以得到正确的预测结果，这种净化方式增强了视觉语言模型的鲁棒性。