摘要
本发明涉及图像描述方法和图像融合方法,尤其涉及多波段图像描述生成方法,具体为基于自监督学习和特征解耦的多波段图像描述生成方法。提取红外和可见光图像粗粒度融合特征的基础上,首先,利用所构建的特征解耦模块,基于两个结构相同的行、列级注意力机制解耦该两波段图像的不同粒度特征;然后,利用所构建的特征交叉融合模块,将解耦所得的不同粒度特征在多个特征子空间中进行融合增强,得到细粒度的融合特征图;最后,将融合好的特征输入到注意力机制增强的语言模型中进行解码生成描述,可用于安防监控和军事侦察等复杂场景理解。
技术关键词
红外图像特征
可见光图像
融合特征
生成方法
注意力机制
多波段
图像融合方法
梯度算法
模块
训练特征
编解码器
批量
自然语言
语句
线性
指标
策略
系统为您推荐了相关专利信息
响应预测方法
注意力机制
加速度
桥梁上部结构
加权特征
卷积模块
特征金字塔
采集无人机
采样器
融合卷积神经网络
光伏发电功率
组合预测方法
组合预测模型
气象
数据
卷积模块
多模态特征融合
身份认证方法
权重特征融合
输出特征