基于多模态融合的跨相机病害检测与定位追溯方法、系统、设备及介质

本发明公开了一种基于多模态融合的跨相机病害检测与定位追溯方法、系统、设备及介质，包括：基于LiDAR点云数据及视觉图像数据两种数据源的融合实现多模态融合的目标检测；基于跟踪算法进行单目相机跟踪，其中包含采用Reid算法实现对单相机的目标去重；基于GPS对于检测设备的空间定位，结合激光雷达对目标的三维坐标计算得到目标真实空间坐标信息；对于新检测到的目标与与已有的相同空间位置的目标利用Reid算法进行特征相似度计算，决定是否保留新检测到的目标结果，实现对跨相机的目标去重及追溯。本发明对不同的数据源进行了充分融合，除了使用较多的视觉图像外，还包括LiDAR的点云数据、GPS的经纬度信息；本发明的方法能够适合不同的场景需求以及不同的复杂环境。