基于多阶层特征融合的虚拟视点绘制空洞填充方法

本发明公开了基于多阶层特征融合的虚拟视点绘制空洞填充方法，将局部连续帧和非局部随机帧，通过多阶层编码进行特征细化，从空洞区域以外的已知区域传播时空信息，得到局部特征块和非局部特征块；对局部连续帧进行光流补全，得到带有空洞的相邻帧的光流特征，用于检测虚拟视点序列中的运动对象，以引导特征传播，特征传播结合所述局部特征块，传递和更新运动对象的信息，缓解了前背景混叠问题；将更新后的特征和非局部特征块进行内容重建，再解码重构得到空洞修复帧，加入多头时空自注意力模块和融合前馈神经网络，有利于聚合不同特征的信息，充分利用局部和非局部相邻帧的特征，较好处理伪影的问题。