摘要
本申请公开了一种伪造图像的检测方法、装置及设备。包括:收集图像及其描述文本,构建训练数据集;通过CLIP模型提取训练数据集中的图像特征和文本特征;基于图像特征和文本特征构建约束,采用条件信息瓶颈方法建立优化目标,训练伪造图像检测模型,得到训练好的伪造图像检测模型;将待识别的图像输入伪造图像检测模型,输出检测值;在检测值大于预设阈值的情况下,确定待识别的图像为伪造图像。本申请在预训练模型强大的特征表达能力的基础上,使用条件信息瓶颈方法解决了特征冗余问题,并有效利用文本模态对于伪造图像检测能力的增强作用,不仅在不同类型的伪造图像上实现了均衡且具有较强泛化能力的检测性能,同时,提升了伪造图像检测准确率。
技术关键词
图像检测模型
瓶颈
正交化方法
文本编码器
图像编码器
数据
线性
分类器
处理器
电子设备
程序
指令
冗余
模块
存储器
基础
参数
系统为您推荐了相关专利信息
人脸图像生成方法
人脸特征
掩膜
图像嵌入
像素点
可见光图像
场景
图像编码器
图像生成器
交叉注意力机制
麒麟系统
性能优化方法
机器学习模型
系统场景
数据存储
冶金炉窑
智能识别方法
信息瓶颈理论
模态特征
变量
模型构建方法
工业检测系统
图像特征向量
多模态融合技术
训练集