图像扰动和文本引导协同的多模态大语言模型对抗样本生成方法及装置

本申请提供一种图像扰动和文本引导协同的多模态大语言模型对抗样本生成方法及装置，涉及计算机技术领域，该方法包括：利用恶意问题集以及当前轮次的引导提示词为目标图像增加扰动生成对抗图像，并将对抗图像、恶意问题集以及当前轮次的引导词输入到模型中，得到针对每个恶意问题的回复内容；基于模型针对每个恶意问题的回复内容，生成针对模型回复内容的共性问题和改进建议，并生成下一轮次的引导提示词；进行对抗图像和引导提示词的迭代，直至满足预设结束条件后，生成对抗样本。本申请提供的图像扰动和文本引导协同的多模态大语言模型对抗样本生成方法及装置，通过引入视觉和文本上的额外信息，大幅提升对抗样本在进行对抗样本测试时的效果。