基于多模态融合网络的公路场景中三维车辆检测方法

本发明公开了基于多模态融合网络的公路场景中三维车辆检测方法，包括：构建了区分前后景，并且同时考虑实例深度与遮挡信息的Cross Modal GT‑AUG模块，更加真实的模拟现实场景的跨模态数据增强过程；构建了图像与Lidar BEV的Cross Modal Multi‑Head‑Attention模块，有效的弥补了高分辨特征中grained information，同时增强了图像中的信息表示；构建了适用于公路场景的MMFN‑PVA‑VDHS模型，在Nuscenes和Nuscenes‑C混合数据集上验证了模型的性能，可以有效的解决场景中抖动导致的跨模态特征不对齐问题。本发明的有益效果在于：能够有效对公路场景车辆进行检测，解决特征不对齐导致的检测精度下降的问题。