一种多模态信息映射的视觉语言模型窃取攻击方法及系统

本发明公开了一种多模态信息映射的视觉语言模型窃取攻击方法及系统，该方法包括：基于第一数据集对第一视觉语言模型进行微调；选择初始替代模型；将第二数据集输入至目标模型和所述初始替代模型，反向传播图文映射联合损失函数，更新初始替代模型的参数，得到最终替代模型；将第三数据集输入至所述最终替代模型，计算最终替代模型的检索准确率。该系统包括：数据集划分模块、微调模块、预选模块、模型训练模块和检测模块。本发明能够在黑盒场景下有效窃取视觉语言模型的功能，并且不受训练数据集分布是否相同的影响，为研究视觉语言模型等多模态模型的潜在安全性及防御方法提供了新的思路和帮助。本发明可广泛应用于信息安全领域。