一种基于深度估计和扩散模型的新视角图像生成的方法

本发明公开一种基于深度估计和扩散模型的新视角图像生成的方法。本发明首先生成训练数据集，并利用其预训练图像内容填充模型和深度补全模型；利用单目深度估计模型估计输入图像的单目深度，构建其网格表示，并渲染新视角带有掩码的图像和深度；利用预训练的图像内容填充模型和深度补全模型，填充新视角带有掩码的图像和深度中的掩码内容。通过结合深度估计和扩散模型，本发明方法能更准确地估计深度，从而在生成新视角图像时提供更高的3D结构质量和细节。本发明方法能够处理更广泛的视角变换，突破了现有技术只能处理有限小视角变换的限制。