基于多模态传感器的车辆周围障碍物检测方法及系统

本公开提供了基于多模态传感器的车辆周围障碍物检测方法及系统，涉及智能驾驶技术领域，包括获取车辆两侧边的超声波雷达点云、毫米波雷达点云以及车辆侧后方的图像数据；对雷达点云进行聚类，提取障碍物的空间位置、运动速度及反射截面特征；将图像数据进行目标检测，输出得到障碍物的边界框以及纹理特征；生成初步的多模态数据，将多模态数据输入至碰撞检测模型，分别进入雷达分支网络和视觉分支网络提取点云时空特征以及图像语义特征，通过Transformer机制对点云时空特征以及图像语义特征进行加权融合，输出障碍物的三维位置、运动轨迹、类型标签及碰撞风险概率；当碰撞风险概率超过预设阈值时，触发对应预警或控制指令。