一种基于对抗攻击的图像自监督训练方法

一种基于对抗攻击的图像自监督训练方法，它属于计算机视觉领域。本发明解决了传统MIM任务的重点语义信息缺失，导致对语义信息模式的学习能力差以及MIM的泛化能力差的问题。本发明首先对图像中非语义信息部分进行掩码处理，特别是在攻击前后变化最显著的区域，而对其余部分则进行随机掩码。通过这种掩码方式，可以在最大程度保留语义信息的基础上，生成针对语义信息部分的模型重建任务，从而增强模型对语义信息的理解能力。在随后的下游任务微调阶段，通过像素级PGD攻击的对抗训练，深化模型对语义信息的感知能力，显著提高了模型的泛化能力、抗干扰鲁棒性和语义信息提取能力。本发明方法可以应用于图像自监督训练。