一种基于多模态信息融合的可泛化神经辐射场重建方法

本发明公开了一种基于多模态信息融合的可泛化神经辐射场重建方法，具体包括以下步骤：步骤一、基于非结构化多视图构建光度特征体和几何特征体，通过渐进地互补融合构建多模态神经编码体；步骤二、将多模态神经编码体和非结构化多视图的原始RGB像素体转换为体积密度和辐射亮度；步骤三、采样光线，对采样光线的上下文特征进行融合，得到光线上下文特征；步骤四、利用光线上下文特征解码体积密度和辐射亮度，渲染生成自由视角RGB‑D图像，然后结合光度监督与稀疏的几何监督引导低纹理场景的稠密重建。本发明能够解决形状辐射歧义问题的同时，实现高质量的三维重建和二维渲染，提高泛化神经辐射场表面重建精度。