实时调整VIO系统的方法和装置

本申请公开了实时调整VIO系统的方法和装置，涉及计算机视觉技术领域。具体实施方式包括：获取包括IMU信息的全景视频流；确定所述全景视频流中的滑动窗口，其中，所述滑动窗口中包括多帧关键帧图像，所述滑动窗口按照全景视频流的方向滑动；确定所述滑动窗口中路标点的投影误差和所述滑动窗口中关键帧图像的IMU预积分约束；根据所述投影误差和相邻关键帧图像的IMU预积分约束，调整VIO系统。对全景视频流设置滑动窗口，利用滑动窗口内的多帧关键帧图像不断调整VIO系统，从而确定全景相机的尺度信息从而解决全景相机的尺度恢复问题，在无需添加场景约束或者添加激光测距传感器的情况下，提高三维重建过程中鲁棒性。