一种基于稀疏深度的高精度三维重建方法

本发明公开了一种基于稀疏深度的高精度三维重建方法，输入稀疏深度的RGB‑D图像序列，通过在公开数据集上训练的深度补全网络有效填补每一帧稀疏深度图中的缺失深度信息，并利用预训练的视觉大模型Dinov2推理每帧的语义信息；对于每一帧RGB图像，采用基于特征点采样与均匀采样的联合采样方法提取光线的采样点，并通过重要性采样和随机采样策略生成空间三维点；对三维空间采样点进行位置编码以编码低频特征，同时使用哈希编码处理高频特征，并将两者融合后输入神经网络，预测颜色值、SDF值和语义值；根据当前的场景表征信息渲染优化当前帧的位姿，通过全局关键帧作为滑动窗口，将预测值与当前帧的真实颜色、深度和语义信息进行对比，优化隐式场景表征，实现从稀疏深度RGB‑D图像序列中重建高保真的三维模型。本发明有效解决了传统三维重建技术在稀疏深度数据条件下重建精度不足的问题，并具有广泛的应用前景，特别适用于基于RGB‑D数据的三维重建相关领域。