一种可见光与红外跨模态匹配的视觉惯性定位方法

一种可见光与红外跨模态匹配的视觉惯性定位方法，它属于多源融合导航技术领域。本发明解决了在视觉退化环境下，现有技术的定位效果差以及回环检测失败的问题。本发明结合了可见光相机的丰富纹理特征和红外相机不受光照条件影响的特征，构建可见光与红外跨模态匹配的视觉惯性定位系统。通过一个公共深度神经网络分别提取可见光图像和热红外图像的视觉特征点和描述子，并提供特征的置信度，并提出了跨模态特征点的分类管理，然后利用两视图三角化恢复路标点的深度，同时基于词袋向量的余弦相似度进行回环检测，利用深度估计值、回环检测结果和惯性预积分测量值联合优化得到可见光和红外相机的位置和姿态。本发明方法可以应用于多源融合导航领域。