摘要
本申请涉及图像处理领域,公开了基于遥感篡改图像的视觉问答方法、系统、设备及介质,包括:通过主分支网络对篡改图像进行视觉特征提取,边缘先验引导块对各层编码器的输入特征进行特征提取;通过先验分支对图像进行边缘检测获得边缘先验特征,边缘先验特征与每个边缘先验引导块中的输入特征融合后输出,作为下一个边缘先验引导块的输入特征进行视觉特征提取;通过边缘先验特征引导,对输入文本进行特征提取,将提取的视觉特征和文本特征跨模态融合;根据融合后的特征,进行多模态推理,输出问答结果;本申请通过引入先验分支以给主分支提供边缘先验特征,显著恢复并加强了复制‑移动篡改图像的边缘伪影,提高篡改图像分析和理解准确性。
技术关键词
边缘先验引导
视觉问答方法
视觉特征提取
前馈神经网络
分支
跨模态融合特征
注意力机制
图像
模态特征
文本
多尺度特征提取
检测损失
Hadamard矩阵
全局特征提取
输出特征
编码器
局部特征提取
系统为您推荐了相关专利信息
时间序列预测系统
变量
适配器
时间序列分析技术
大语言模型
光伏功率预测方法
注意力机制
多层感知机
序列
光伏发电功率
数据分类方法
图谱
编码特征
编码器
前馈神经网络
数据预取机制
模型优化方法
分层
前馈神经网络
数据访问模式