摘要
本发明提出了一种融合深度学习网络的视觉SLAM方法。属于计算机视觉领域。包括以下步骤:步骤S1,系统接受输入的图像对,用深度学习提取局部特征描述符来替代传统手工设计的特征;步骤S2,基于LightGlue深度学习网络(一种用于局部特征匹配的图神经网络),在极短的时间内实现前后帧图像特征之间的精准匹配;步骤S3,对双目图像帧进行预处理,计算每个像素匹配代价的累积函数,并利用立体深度估计模块实现精确的立体视觉重建与深度估计;步骤S4,输出特征点匹配对与深度估计结果,并应用于视觉同步定位与建图(VSLAM)的实现中。通过使用深度学习提高局部特征的鲁棒性,提升图像帧之间数据关联的准确性,我们的方法在不牺牲整体效率的情况下大幅提高了系统实时定位精度。即使是在极具挑战性的低光照场景中,本文提出的VSLAM方法也能克服ORB‑SLAM2(一种基于特征点法的经典视觉SLAM框架)等流行算法可能无法稳定运行的难题,仍然可以准确地跟踪相机位置并构建环境地图。
技术关键词
特征点
视觉SLAM方法
图像
局部特征描述符
融合深度学习
立体深度估计
注意力
视觉同步定位
深度学习网络
关键帧
立体视觉
像素点
全局最小代价
构建环境地图
构建代价函数
输出特征
解码器
特征提取算法
双三次插值