摘要
本发明公开了基于多模态差异补足融合的遥感图像目标检测方法及系统,属于遥感图像目标检测技术领域,包括:基于多模态遥感图像,提取单模态图像特征及两种图像像素级融合后的特征,生成第一特征图,其中,多模态遥感图像由RGB图像与红外图像组成;根据第一特征图,利用RGB图像与红外图像之间的差异信息,将红外图像特征作为RGB图像特征的补足,生成第二特征图;基于第二特征图,进行局部细节信息、注意力特征信息以及全局特征信息的提取与融合,并使用检测头进行目标类别与位置的预测,生成预测结果。本发明提升了多模态遥感图像目标检测中的检测精度。
技术关键词
多模态
红外图像特征
图像像素
通道
全局平均池化
分支
注意力机制
检测头
跨模态
互补特征
特征提取模块
多层感知机
数据采集模块
模态特征
输出特征
级联
网络