一种融合计算机视觉与激光雷达的结构物对接监测方法

本发明公开一种融合计算机视觉与激光雷达的结构物对接监测方法。该方法包括：设置相机和激光雷达用于捕捉目标结构物的画面，并获取相机的内参和目标结构物的三维模型；启动相机的摄像头和激光雷达，获得目标结构物的图像数据，该图像数据包括深度图和彩色图；基于所述图像数据进行图像分割，获取每个目标结构物对应的初始状态掩码图；基于第一帧的彩色图、深度图和初始状态掩码图，以及目标结构物的三维模型和所述相机的内参，利用神经网络估计每个目标结构物的初始位置和姿态；使用所述神经网络对当前的输入图像与上一时刻的目标结构物进行比较，获得运动跟踪结果。本发明可同时对多个结构物进行跟踪，实现对整个工程作业的实时运动监测。