基于多模态图像融合的视觉惯性里程计方法及装置

本发明提供基于多模态图像融合的视觉惯性里程计方法及装置，该方法包括：针对目标场景的热红外图像序列中任一当前热红外图像：将当前热红外图像配准到可见光图像，生成当前准热红外图像；将当前准热红外图像和当前可见光图像进行图像融合处理，生成当前融合图像；针对融合图像序列的任一当前关键帧：将当前关键帧对应的当前视觉位姿信息以及IMU预积分输出结果进行视觉惯性对齐处理，输出对齐后图像数据；按照预设滑动窗口对关键帧序列中每个对齐后图像数据进行非线性优化处理，输出第一设备的实时位姿状态。由此，能够融合不同波段的图像信息，从而获得全场景全天时信息丰富的融合图像，进而提升VIO系统在复杂环境中的鲁棒性和精度。