一种基于惯性测量单元数据和深度学习的视频稳定方法

本发明公开了一种基于惯性测量单元数据和深度学习的视频稳定方法，涉及到图像处理技术领域，深度神经网络模型的训练过程如下：获取原始图像序列组成t时刻数据集，同时获取t时刻数据集对应的IMU数据序列，根据IMU数据序列计算每个像素的虚拟运动向量；根据每个像素的拟运动向量对t时刻数据集中每帧图像进行补偿，得到一次补偿图像，基于N‑1帧一次补偿图像以及N‑1帧补偿后稳定图像进行特征匹配，计算得到新的全局透视变换矩阵；根据匹配结果对当前帧图像进行二次补偿，以得到t时刻补偿后的稳定图像；将全局透视变换矩阵附加到每个Slice的透视变换矩阵上，输出t时刻运动向量场；该视频稳定方法提高了图像的稳定传输。