基于多模态大语言模型的对抗样本生成方法及系统

本发明提供一种基于多模态大语言模型的对抗样本生成方法及系统，该方法包括：将干净图像和对抗扰动输入多模态大语言模型中，得到对抗图像，确定对抗图像与目标文本的第一损失；将对抗图像输入多模态大语言模型，得到不同对抗提示下的输出文本，确定输出文本与目标文本的第二损失；根据第一损失和第二损失得到最终损失，根据最终损失对对抗扰动更新，使得最终损失最小，得到对抗样本。本发明生成具有跨模型和跨提示迁移性，同时保持高攻击性能的对抗样本。该对抗样本可用于模型评估、改进、隐私保护、安全测试等领域。在应用与训练阶段，加入本发明的对抗样本，可以极大提升多模态大语言模型的鲁棒性和安全性，推动人工智能领域的健康有序发展。