一种稀疏视点下基于点云增密和多模态协同优化的新视点生成方法

本发明公开了一种稀疏视点下基于点云增密和多模态协同优化的新视点生成方法，属于新视点生成领域，包括以下步骤：1.获取稀疏视点图像；2.通过运动恢复结构(SfM)获取相机位姿，生成稀疏点云；3.通过DPT模型生成输入图像的深度图；4.通过点云增密过程，生成高密度、低噪声的初始点云；5.将增密后的点云初始化为3D高斯参数；6.通过语义正则化和局部深度正则化，联合优化3D高斯参数；7.通过3D高斯溅射引擎生成最终的新视角图像与深度图。本发明通过全局和局部特征感知机制，稀疏点云的增密，以及多模态正则化协同优化，提高了稀疏视点下新视点生成的质量和效率。