摘要
一种基于交叉模态融合与引导注意力机制的目标检测方法、系统、设备及介质,目标检测方法包括:获取可见光‑红外图像配对数据集,对其进行数据处理并划分,得到训练集、验证集和测试集;构建多模态目标检测网络;设置网络训练参数;利用训练集对多模态目标检测网络进行训练和优化,训练结束后输出训练权重文件,并利用验证集对训练完成的权重文件进行验证,选取精度最高的权重文件作为最优权重文件;将测试集和最优权重文件载入到多模态目标检测网络中,对测试集进行目标检测,得到目标检测结果;系统、设备及介质用于承载和实现所述方法;本发明具有更低的误检和错检情况,提高了目标检测的鲁棒性和准确性。
技术关键词
注意力机制
网络
模态特征
双模态
融合特征
语义特征
分支
跨模态
模块
训练集
原始图像数据
多模态
通道
红外图像特征
可读存储介质
可见光图像