基于超分形多模态深度融合的虚拟视点遮挡区域修复方法

本发明公开了一种基于超分形多模态深度融合的虚拟视点遮挡区域修复方法，属于计算机视觉与图像处理技术领域，利用构建的超分形多层级特征融合网络对输入图像进行多模态特征提取；利用构建的深度估计模型对输入图像的遮挡区域周边进行深度信息估计，以获取遮挡区域填充内容；基于获取的遮挡区域填充内容的多模态特征，从给定的修复方案中选择当前修复方案，并根据当前修复方案中各模态特征的权重，对输入图像的遮挡区域进行初步修复；对初步修复的效果进行评估，且在修复效果不符合预期时，不断优化当前修复方案的各模态特征的权重，直至输出遮挡区域修复效果满足预期的图像。本发明能够提高虚拟视点的质量和视觉效果。