基于Transformer和U-Net的稀疏多视角图像3D高斯重建方法

本发明提供了一种基于Transformer和U‑Net的稀疏多视角图像3D高斯重建方法，包括：对稀疏多视角图像进行预处理；对预处理后的多视角图像进行特征提取与融合，得到包含多视角信息的特征图；根据每个视角图像的特征图构建成本体积并细化及归一化，得到预处理后的每个视角图像像素点属于不同深度候选的概率分布；对所述概率分布进行采样，得到每个视角图像的深度图；使用所述U‑Net网络预测每个像素的高斯参数的概率分布并得到每个像素的高斯分布参数；使用3D高斯绘制技术根据每个像素的高斯分布参数生成三维模型。该稀疏多视角图像3D高斯重建方法，可以有效提高三维重建方法的重建准确性和重建效率。