一种基于无参影像的三维重建与渲染方法

本发明公开了一种基于无参影像的三维重建与渲染方法，输入多视角RGBD影像数据流，通过在公开数据集上训练光流估计网络得到的预训练模型对每一帧影像进行光流估计，根据光流阈值选择关键帧并使用关键帧集来构建关键帧图；通过共视关系在关键帧之间建立共视矩阵，在共视矩阵中的关键帧对建立边，对关键帧图中形成边的关键帧使用阻尼高斯‑牛顿法迭代优化关键帧的位姿；在关键帧图中动态选择K个共视关键帧作为动态滑动窗口，通过滑动窗口的关键帧信息进行高斯的动态插入与剪枝，使用高斯泼溅渲染关键帧的颜色、深度、可见性轮廓信息，将其与关键帧的真实颜色和深度信息求损失以优化3D高斯的场景表征。本发明解决了传统三维重建技术重建场景的质量差，训练和渲染时间长的问题，可以广泛应用于三维重建的相关应用之中。