摘要
本发明提供了一种多模态大模型的对抗防御方法及装置,其中,该方法包括:获取待检测的初始多模态数据;采用预训练的检测模型判断所述初始多模态数据是否为恶意数据;若所述初始多模态数据为恶意数据,采用预训练的恢复模型将所述恶意数据恢复为目标多模态数据,其中,所述恢复模型用于将恶意数据恢复为正常数据;将所述目标多模态数据输入多模态大模型,得到输出结果。通过本发明实施例,采用预训练的检测模型和恢复模型,实现对多模态大模型的输入数据的对抗攻击的检测和恢复,在增强模型鲁棒性的同时,尽量减少带来的时间消耗,保证的多模态大模型的输出结果的安全性和准确性。
技术关键词
多模态
恢复器
融合特征
样本
注意力模型融合
文本特征向量
语音特征
语义特征
图像
数据标签
检测器
网络分配
图片
输出模块
电子装置
变换器