一种基于几何语义信息融合的场景感知与重建系统

本发明公开了一种基于几何语义信息融合的场景感知与重建系统。属于计算机视觉技术领域。所述系统包括：视频全景分割(VPS)模块、视觉里程计(VO)模块和场景渲染(SR)模块，VPS模块通过融合VO模块以及自适应融合几何信息获取全景分割结果；VO模块估计相机位姿、深度和光流，并通过从VPS模块中获取语义信息来提升估计性能；这两个模块通过递归交互相互促进；SR模块则旨在通过稀疏点云地图合成逼真的场景。技术的核心动机在于加强VO与VPS任务之间的关联，从而实现更精细的3D场景理解。本发明是一个统一的感知、定位、重建的方法，本发明的自适应几何信息融合相较于直接进行卷积的方式，能够支持更多现实应用场景，并拥有较强的可拓展性。