基于多传感器融合的轻轨车辆安全监测系统

本发明公开了基于多传感器融合的轻轨车辆安全监测系统，涉及轻轨车辆安全监测技术领域，该系统由若干功能模块组成，包括：多模态感知模块，实时捕捉轻轨周围环境图像，划定视觉标记区域；对视觉标记区域进行三维扫描，实时生成环境点云数据，利用多普勒补偿算法，进行动态物体距离获取；数据处理模块，采用光流法和CNN形变检测网络，计算相邻帧间物体形变；依据物体形分析，进行物体相对运动计算；基于MaskR‑CNN的实例分割，输出物体轮廓；同时利用动态目标聚类算法，对物体轮廓进行多目标追踪，结合环境点云数据，输出物体三维坐标及运动矢量；融合与分析模块，基于PTP协议进行时间同步。