一种基于多模态融合的无人机动态环境3D目标检测方法和装置

一种基于多模态融合的无人机动态环境3D目标检测方法和装置，其方法包括：对4D毫米波雷达和相机标定，得到毫米波雷达和相机间位姿关系；将4D毫米波雷达点云数据预处理，得到去噪后的点云图像，对去噪后的点云图像进行特征提取；使用隐空间正态估计，得到相邻帧之间的位姿矩阵，再通过全局离散化分析，实现运动场景下多帧点云姿态校正和融合，增强点云数据；处理雷达点云和相机图像，通过特征提取网络，得到BEV特征图；使用双头通道注意力机制和交叉注意力机制融合BEV特征；设计基于锚框的检测头模块，针对不同检测目标进行差异化设置；采用不同数据集和不同测试场景验证，获得3D目标检测结果。本发明提出了隐空间正态估计法关联时空信息，进行多帧拼接，增加点云的密集程度，提高目标特征的表现。