一种考虑阴影的融合语义分割的逆渲染方法及装置

本发明公开了一种考虑阴影的融合语义分割的逆渲染方法及装置，涉及计算机视觉与图形学领域，该方法包括以三维场景的一组多视角照片作为输入重建场景的几何形状，实现神经隐式表面重建；以三维场景稀疏视角图像反照率的语义分割图作为输入，获得场景的带有反照率语义类别的表面点集，将表面点集投影至图像平面以获得场景各视角图像反照率的语义分割图；以三维场景的一组多视角照片和获得的语义分割图作为输入，在场景的表面点上进行光线采样；基于采样光线上的入射光以及表面点的材质进行前向渲染，通过网络训练对光照和材质进行优化，分解得到准确的光照和材质。本申请能够有效减弱阴影对材质估计的影响，从而实现较为准确的光照和材质的估计。