从无相机位姿的图像实现同步三维重建与场景理解的方法及装置

本发明公开一种从无相机位姿的图像实现同步三维重建与场景理解的方法及装置，该方法通过给定一组稀疏的无相机位姿的多视角图像及其对应的相机内参，构建并训练同步三维重建与场景理解模型，该模型包括图像编码器、高斯解码器、统一查询解码器、几何引导的多视角掩码聚合模块、二维到三维语义映射模块；并利用训练后的同步三维重建与场景理解模型输出的辐射场进行在线的同步三维重建与场景理解。本发明无需特征对齐的范式和统一的任务建模，能够支持三维场景重建、三维语义/实例/全景/文本引用的场景理解等多重下游任务，且采用本发明进行三维场景重建的视觉质量高，三维场景理解更精确。