基于多模态大语言模型的视觉问答系统对抗攻击方法、电子设备及可读存储介质

本发明属于大语言模型技术领域，具体涉及基于多模态大语言模型的视觉问答系统对抗攻击方法、电子设备及可读存储介质。方法为：1.利用替代模型生成干净的图像‑文本对的候选错误答案；2.候选错误答案和干净的文本构建陈述句提示；3.利用多模态大语言模型迭代式生成新的误导图像；4.利用损失函数的梯度信息优化扰动，生成对抗性图像；5.利用多模态大语言模型生成候选对抗性文本；6.利用多模态大语言模型生成候选文本和原始文本的相似度；7.根据相似度筛选最终对抗性文本；8.将对抗性图像和对抗性文本送入黑盒模型攻击。本发明构建了图像‑文本多模态协同攻击范式，使视觉误导特征与文本语义扰动相辅相成，显著提升对抗样本在黑盒环境下的攻击效能。