一种基于相关性引导的时间注意力的深度在线视频稳定方法

本发明提供一种基于相关性引导的时间注意力的深度在线视频稳定方法，通过基于相关性引导的时间注意力CTA模块和基于像素的扭曲场生成PbWM模块实现视频稳定；其中，CTA模块：根据自定义的度量对输入的历史不稳定帧进行重采样；学习每一帧重采样的历史不稳定帧与输入的待稳定的不稳定帧之间的相关性，得到每一次重采样的历史不稳定帧的权重；基于所述权重进行残差连接，得到新的输入帧序列；其中，PbWM模块：输入所述新的连续序列，学习扭曲映射，输出双通道翘曲场；基于所述双通道翘曲场进行翘曲操作，生成稳定视频。本发明的稳定方法的性能与传统的离线方法相当，且优于现有的深度在线方法，特别是在帧数更少、速度更快的情况下性能更高。