基于激光雷达与摄像头数据融合的码头感知方法及系统

本发明涉及一种基于激光雷达与摄像头数据融合的码头感知方法及系统，先采用鱼眼摄像头多角度拍摄棋盘格标定板并采用张氏标定法计算鱼眼摄像头的内参矩阵和畸变系数，并实时同步采集激光雷达和摄像头的数据，对摄像头图像进行去畸变处理，再通过特征提取算法、特征点匹配算法和非线性优化算法计算激光雷达与摄像头之间的外参矩阵，进而通过内参矩阵、外参矩阵以及双线性插值法进行数据融合生成带有颜色信息的融合点云数据，最后通过标注和训练CNN模型识别码头关键目标，并采用特定计算方法计算出关键目标的三维参数，使船员能迅速辨别融合点云数据中的目标，显著提高了码头环境感知的精度和效率，为船舶靠离泊操作提供了精准的环境感知和决策支持。