Transformer与CNN相结合的视频插帧方法

本发明公开了Transformer与CNN相结合的视频插帧方法。本发明的网络结构包括特征提取网络、光流估计网络和融合与细化网络。特征提取网络不同阶段的输出作为不同尺度的特征，光流估计网络通过对前后两帧视频图像进行特征提取和运动估计，生成前后两帧到中间帧的双向光流信息，融合与细化网络输入为特征提取网络提取的不同阶段的特征信息、光流估计网络生成的输出光流，输出为一张掩膜图像以及一副残差图像。原始图像经过光流的绘制，再通过掩膜做加权最后加上残差图像，输出最终的插帧图像。本发明通过Transformer模型与CNN网络相结合，能够从整个图像范围内提取丰富的语义信息，并有效地捕捉帧间的运动关系。