摘要
本公开提供了一种对抗样本检测方法及相关设备,涉及计算机技术领域,该方法包括:将待检测图像输入分类器中进行分类预测,输出不同预测类别的概率分布,其中,概率最大的预测类别作为初始预测类别;通过多模态对齐模型生成的每个预测类别的文本提示和待检测图像,确定每个预测类别的图文对齐分数;根据每个预测类别的图文对齐分数和初始预测类别的图文对齐分数,确定最大语义差异;判断最大语义差异是否满足预设阈值,若否,则拒绝输出分类结果,确定待检测图像为对抗样本。通过多模态一致性,结合视觉分类器和文本语义对齐的方式,当检测到语义不一致时,放弃预测,构建模型无关的拒绝机制,从而显著提升对抗样本检测能力与系统整体安全性。
技术关键词
预测类别
图文
样本检测系统
样本检测方法
多模态
语义
分类器
对齐模块
文本编码器
图像编码器
样本检测装置
处理器
决策
计算机程序产品
指令
可读存储介质
系统为您推荐了相关专利信息
干预方法
临床决策支持系统
滑动窗口方法
进程
多模态数据采集
动态知识图谱
项目
可视化报表
状态机引擎
关系建模
视频时空特征
视频生成模型
文本
动作特征
图像编码
多模态生物特征采集设备
协调服务器
联邦学习模型
深度神经网络模型
生物特征数据