一种面向自动驾驶的多模态三维目标检测方法和装置

本发明公开了一种面向自动驾驶的多模态三维目标检测方法和装置，包括以下步骤，提取图像数据中的图像特征；提取点云数据中的点云特征；将图像特征和点云特征双向增强融合，得到点云增强的图像特征和图像增强的点云特征；分别对点云增强的图像特征和图像增强的点云特征进行解码，得到高分辨率图像特征和解码后的点云特征，将高分辨率图像特征与解码后的点云特征融合后，得到融合图像特征的点云特征；将融合图像特征的点云特征送入三维区域建议网络和细化模块进行三维目标检测。本发明采用基于注意力的融合方式，融合模块只关注有用特征并且抑制噪声，充分利用两种模态的互补性进行高效地融合，为自动驾驶系统的环境感知提供了有效的解决方案。