潜在与像素域双阶段的视频超分模型训练方法

本发明提供了一种潜在与像素域双阶段的视频超分模型训练方法及系统。将训练数据中的低分辨率视频放大到与其对应的高分辨率视频相同的分辨率，在潜在空间中，对Transformer模型进行适应训练；将训练数据中的低分辨率视频和图片分别放大到与其对应的高分辨率视频和图片相同的分辨率，并将得到的图片和视频按照设定比例进行混合，得到图片和视频混合的训练数据；利用图片和视频混合的训练数据，在像素空间中，对Transformer模型进行细化训练。本发明采用潜在空间自适应回归与像素细化优化方案，将图像与视频混合地嵌入到像素域训练中，增强模型性能，有效降低训练开销并提升超分辨率重建质量和精度。