摘要
本发明公开了一种基于多模态特征融合的目标检测方法、设备和介质,属于人工智能技术领域,该方法包括:1、通过双目相机获取目标的多模态图像,得到目标对象的RGB图像和深度图像并进行数据增强以及目标位置标注,从而构建多模态数据集;2、构建基于多模态特征融合的目标检测网络,包括:多模态双分支特征提取网络,多模态特征融合模块,多尺度特征聚合模块,特征金字塔网络,目标检测头,并对RGB图像和深度图像进行处理,得到预测结果;3、基于预测结果和真实标注构建总损失函数以训练多模态特征融合的目标检测网络,得到训练好的多模态目标检测模型以实现目标检测。本发明能提高目标检测的准确性和可靠性。
技术关键词
多模态特征融合
特征提取网络
特征提取模块
特征金字塔网络
可见光
图像
多尺度特征
金字塔特征
对象检测
代表
深度空间特征
融合特征
全局平均池化
可读存储介质
检测头
人工智能技术