摘要
本发明提供一种多模态目标检测方法、装置及电子设备,其中,该一种多模态目标检测方法包括:获取待测数据,对所述待测数据进行多模态特征增强;所述待测数据包括点云数据和图像数据;对所述待测数据进行特征提取,得到若干图像切块和体素;基于所述图像切块和所述体素,对所述待测数据进行单模态注意力子网络处理,以及对所述待测数据进行跨模态注意力子网络处理,得到融合有所述图像数据的图像语义信息的体素特征;基于所述体素特征,确定所述待测数据的目标检测结果。通过本发明,实现了跨模态的检测效果,加强了对待测数据中目标信息的关注,提高目标检测的准确性和鲁棒性,解决了现有技术中存在的像目标检测效果不佳的问题。
技术关键词
点云空间
注意力
多模态特征
位置编码信息
样本
数据
切块
跨模态
网络
激光雷达
电子设备
特征提取模块
语义
坐标
处理器
图像处理
检测头
系统为您推荐了相关专利信息
故障诊断方法
样本
Softmax分类器
全局平均池化
通道
协同感知系统
激光雷达
融合特征
特征地图
网格特征