摘要
本发明公开了一种基于边缘引导的多模态图像篡改定位方法和系统,包括以下步骤:获取RGB空间域图像和噪声域图像;利用金字塔视觉变换器作为编码器,对RGB空间域图像和噪声域图像进行特征提取,得到多层级的编码特征图,将多层级的编码特征图进行融合得到多模态融合特征图;对多层级的编码特征图进行边缘先验特征提取,得到边界先验特征图;将边界先验特征图与多模态融合特征图进行融合,提取语义特征,得到多层级显著性特征编码图;将多层级显著性特征编码图输入到多级多尺度特征聚合模块中,采用逐组交互机制和通道注意机制,挖掘来自不同通道的判别性和有价值的语义信息,最后输出得到图像篡改定位结果图像。
技术关键词
编码特征
图像篡改定位方法
边界先验
融合特征
层级
边缘先验
背景图
多尺度特征
交互机制
噪声特征提取
多模态特征融合
通道
特征提取单元
金字塔
语义特征
系统为您推荐了相关专利信息
潜力评估方法
多模态交互
点云特征
激光雷达点云数据
融合特征
数据获取方法
时空耦合关系
异常状态
样本
机器学习训练
数字孪生模型
物联网中间件
振动特征
多模态传感器
神经网络模型
形貌特征
材料特性数据
神经网络结构
注意力
智能校准方法