一种能够同时训练场景RGB和语义的大规模三维场景重建方法

本发明公开了一种能够同时训练场景RGB和语义的大规模三维场景重建方法，涉及三维计算机视觉与图形学领域，尤其涉及一种基于分块训练与层次化高斯分布的三维场景多模态重建方法。该方法的步骤包括输入目标场景的RGB图像，使用工具将场景分解为包含外观、语义和深度等信息的三维高斯模型，对目标场景进行粗优化以及分块训练，最后通过层次合并算法得到包含场景、语义和深度信息的多模态结果。本发明能够高效整合几何重建、语义分割等多模态信息，并显著提升实时渲染性能；本发明适用于大规模场景建模、虚拟现实内容生成及自动驾驶环境感知。