摘要
本发明提供一种基于非对称差分融合的多模态目标检测方法、装置及设备,包括:将红外光图像和可见光图像输入至基于非对称差分融合的多模态目标检测模型中,通过双分支特征提取模块,分别对红外光图像和可见光图像进行特征提取,获取红外光特征和可见光特征;通过非对称交叉模态增强模块对红外光特征和可见光特征逐步增强,获得第一增强红外光特征和第一增强可见光特征;通过特征差分增强融合模块对第一增强红外光特征和第一增强可见光特征进行融合,获得不同尺度的融合特征;将不同尺度的融合特征输入检测头进行目标检测,得到目标检测结果。本发明的方案,提升了多模态的融合效果,提高了多模态目标检测的准确性和可靠性。
技术关键词
红外光
可见光图像
卷积特征
融合特征
注意力机制
相位特征
特征提取模块
检测头
元素
残差结构
抑制算法
分支
处理器
存储器
像素
通道
电子设备
系统为您推荐了相关专利信息
在线学习方法
验布机
运动轨迹预测
语义
运动感知模块
驾驶员分心
高速公路场景
识别方法
双向特征金字塔
特征提取能力
多模态特征融合
阿尔茨海默症
诊断方法
基因
残差神经网络
语义
文本转换方法
文本转换装置
图谱
业务程序系统
燃气管网故障
融合特征
梯度直方图
交叉注意力机制
时序特征