一种基于语义理解的多模态特征融合三维目标检测方法

本发明公开一种基于语义理解的多模态特征融合三维目标检测方法，构建包括第一分支、第二分支以及多模态融合分支的目标检测模型，第一分支采用第一语义监督模块对二维图像中的各个像素点进行背景/前景标注，去除背景点，再结合图像的深度信息将前景点映射到三维空间，获得图像形成的伪点云的三维空间特征；第二分支采用第二语义监督模块对关键帧点云中的各个点进行前景/背景标注，再对标注后的前景点云、背景点云分别进行加权处理，然后与扫描帧点云进行拼接，再采用编码器对拼接后的点云进行空间特征提取，获得点云的三维空间特征；多模态融合分支对上述三维空间特征进行特征融合；最后对目标检测模型训练，以此在港区环境进行目标检测。