摘要
本发明公开了一种深度伪造检测与定位方法、系统、存储介质及设备,属于数据检测领域,方法包括:对图像文本对中的图像和文本数据进行预处理,生成结构化输入数据;通过视觉‑语言模型将预处理后的图像文本对嵌入映射至同一语义空间;利用跨模态对比学习进行对齐,并通过交叉注意力机制实现图像与文本的交互;采用加权融合策略,动态调整图像与文本模态的权重;使用分类模型对融合后的模态特征进行分析,判断信息真实性,并定位图像文本对中的虚假部分;通过最小化检测误差及损失函数对模型进行训练,并结合正则化技术优化模型。本发明基于加权融合策略,使得信息稀缺的模态能够在模型学习过程中得到更多的关注,从而提升整体检测性能。
技术关键词
交叉注意力机制
判断信息真实性
定位方法
正则化技术
融合策略
定位检测器
模态特征
跨模态
检测误差
图像篡改区域
分类检测器
语义
文本编码器
图像编码器
数据
可读存储介质
视觉
系统为您推荐了相关专利信息
交叉注意力机制
二维离散小波变换
轻量化神经网络
识别方法
视频
黏弹性材料
单轴
深度神经网络模型
BFGS算法
应力
融合特征
识别方法
图像特征提取方法
可见光图像
深度残差网络模型
信道
辐射源设备
干扰抑制算法
傅里叶变换算法
射频