摘要
本发明涉及目标识别技术领域,公开了一种基于多维度融合的多光谱目标类型识别方法,包括获取多模态图像数据;构建多光谱目标类型识别模型;利用多模态特征提取模块对多模态图像数据分别进行特征提取,获取不同模态表征的多尺度特征图;利用跨模态局部与全局融合模块对不同模态表征的多尺度特征图在不同深度进行空间维度的多维跨模态特征融合和交互,获取融合局部与全局信息的单模态特征图;利用跨模态通道融合模块对融合局部与全局信息的单模态特征图进行特征融合,获取多模态通道融合特征图;利用检测模块对多模态通道融合特征图进行多尺度特征图融合,得到多光谱目标检测结果。本发明大大提升了目标识别和检测的效果。
技术关键词
跨模态
融合特征
多模态图像数据
识别方法
模态特征
特征提取模块
多光谱
补丁
标记
多尺度特征
通道
序列
注意力
子模块
层级
分段