摘要
本发明涉及计算机视觉技术领域,本发明公开了一种多模态图像融合方法、系统、介质及设备,包括:对可见光图像和红外图像,分别进行基础特征提取和细节特征提取;所述基础特征提取对图像特征分别进行自注意力操作和通道-局部复合注意力操作后,依次通过门控机制融合、前馈网络处理和域特定批归一化;所述细节特征提取将图像特征分为两个分支后,依次进行细节节点操作、通道维度拼接操作、通道-局部复合注意力操作、注意力权重融合操作和域特定批归一化;将基础特征进行自适应融合;将细节特征进行自适应融合,通过解码器,得到融合后输出图像。增强了融合图像的质量和信息完整性。
技术关键词
可见光图像
多模态图像融合模型
基础
特征提取对图像
解码器
局部注意力机制
多阶段
缩放参数
交互特征
图像融合系统
通道注意力机制
融合特征
计算机视觉技术
因子
分支
编码器
系统为您推荐了相关专利信息
大气扩散模型
气体扩散模型
溯源检测方法
无线电定位方法
检测设备
可见光图像
红外光
融合方法
融合网络系统
融合装置
自动生成方法
知识库构造
筛选出合格
可读存储介质
自动生成系统
采购优化方法
销量预测模型
历史订单数据
训练神经网络
BP神经网络
暂态稳定评估
GCN模型
分析方法
注意力机制
表征系统