多模态模型安全保护方法及系统

本发明提供一种多模态模型安全保护方法及系统，属于人工智能技术领域，包括：将各个初始增广图像输入至初始视觉语言模型，得到与每一初始增广图像对应的第一预测结果以及每一初始增广图像的视觉特征向量；根据第一预测结果更新初始视觉语言模型，得到更新后的视觉语言模型；将各个初始增广图像输入至更新后的视觉语言模型，得到更新后的视觉语言模型输出的与每一初始增广图像对应的第二预测结果；根据所有第二预测结果和所有视觉特征向量，得到测试图像的最终预测结果。本发明通过结合测试时熵值最小化优化与基于视觉特征向量相似度的可靠度加权集成，从而在不依赖训练数据的前提下实现多模态视觉语言模型在潜在的对抗扰动下的鲁棒安全推理。