融合深度补全的多模态3D检测方法、系统及介质

本发明提供一种融合深度补全的多模态3D检测方法、系统及介质。所述方法包括：获取图像数据和稀疏深度数据；获得深度估计图和稀疏深度图；约束深度估计图获得稠密深度图；加权融合获得融合深度图；在加权融合的过程中，深度估计图中的像素点的权重与距离图像中物体的边缘的距离反相关；利用融合深度图获取第一特征图，利用稀疏深度图获取第二特征图；融合获得融合特征图；基于融合特征图进行目标检测，获得3D环境信息。本发明提出的技术方案将可见光深度估计应用于稀疏深度图的深度补全中，弥补了可见光图像与稀疏深度图直接融合存在区域深度错误与边缘模糊的缺陷，又通过引入特征空间融合充分利用了多模态信息提高了3D目标检测效果。