一种思维链引导的多模态大模型对抗样本检测方法及装置

本发明涉及对抗防御技术领域，特别涉及一种思维链引导的多模态大模型对抗样本检测方法及装置。方法包括：将干净图像样本输入至目标多模态大模型，获得第一注意力分布矩阵；获得在使用思维链提示词时的第二注意力分布矩阵；生成注意力偏移矩阵；对注意力偏移矩阵进行可视化处理；通过投影梯度下降法，对干净图像样本添加对抗扰动，获得对抗样本；通过干净图像样本和对抗样本对分类器进行预训练；将注意力偏移矩阵输入预训练的分类器，判断干净图像样和对抗样本。防御方法和装置不考虑引入额外的多模态大模型，从而减少失效的概率，确保系统能够在大多数情况下正确的判断原始多模态大模型是否受到了来自外界的对抗攻击，进而起到防御的效果。