一种基于特征劫持的统一视觉语言模型后门攻击方法

本发明公开了一种基于特征劫持的统一视觉语言模型后门攻击方法，步骤如下：获取数据集及统一视觉语言模型；初始化多模态触发器，触发检测器，动态特征对齐模块等后门模块；构建有害数据集，从训练集中随机选取一部分样本，为样本注入多模态触发器，生成中毒样本，将原训练数据和生成的中毒样本数据混合，生成有害数据集；使用有害数据集对模型进行训练，冻结模型原始参数，仅允许后门模块参与训练；模型推理，训练生成的中毒模型在良性测试样本上表现正常，但当文本和图像后门触发器同时存在时，模型将输出预设答案，实现后门攻击。本发明提供的方法解决了由于仅采用单模触发或特征扰动不足而导致对统一视觉语言模型攻击效果不足的问题。