一种多模态大模型对抗安全检测系统及方法

本发明公开了一种多模态大模型对抗安全检测系统及方法，旨在评估多模态大模型的鲁棒性和对抗安全性；本发明通过单模态编码器对输入数据进行处理，并对所得到的嵌入表示施加对抗性扰动，以削弱多模态数据间的协同一致性，从而构造多模态对抗样本，用于检测多模态大模型在执行下游任务时的准确性。本发明适用于非白盒测试场景，有效降低了模型安全性评估的难度，提升了评估的普适性；所提出的多模态对抗样本协同生成方案，能够有效利用各模态数据间的潜在联系，实现更为全面的对抗安全检测；此外，本发明具备良好的可扩展性，支持包括文本与图像、文本与音频、文本与无声视频等多种多模态数据的对抗样本生成。