针对多模态场景下预训练模型投毒攻击的高效防御方法

本发明提供一种针对多模态场景下预训练模型投毒攻击的高效防御方法，涉及深度学习模型投毒攻击的防御技术领域。该方法涉及三个阶段：第一阶段为模型训练前，清洗过滤训练集中中毒数据；第二阶段为模型训练中，利用随机文本池进行进一步去毒；第三阶段为模型训练后，引入干净数据进行模型微调；该方法第一阶段能过滤掉训练数据集中50％的中毒样本；第二阶段利用高效随机文本池在预训练过程中去毒，可以更进一步去除训练集中的毒化样本，并提升整体的训练效率；第三阶段通过后置微调去毒，可以进一步弥补随机文本池对训练模型准确率的影响，同时引入外部干净数据，使去毒效果进一步提升。