视觉语义信息辅助的点云特征提取与位姿估计方法及装置

本发明提供一种视觉语义信息辅助的点云特征提取与位姿估计方法及装置，属于包括机器人自主导航与计算机视觉交叉技术领域，包括，获取激光点云和视觉图像，将视觉图像输入语义分割网络，输出像素级语义标签图，将激光点云投影到像素级语义标签图，得到语义点云；利用语义点云对边缘和平面特征进行初步区分，计算语义点云局部曲率，再次筛选平面特征点和边缘特征点，构建位姿估计过程的误差函数，计算Hessian矩阵；基于Hessian矩阵计算退化因子，分别对平面特征和边缘特征进行退化判断，构造正交投影矩阵，联合平面特征和边缘特征的正交投影矩阵，构建位姿估计最小二乘问题，直至载体运动结束求得最佳位姿估计。