基于空间3D高斯模型的语义特征嵌入开放分割方法

本发明提供一种基于空间3D高斯模型的语义特征嵌入开放分割方法，包括下列步骤：准备训练所需的输入图像集，包括输入多视角图像及其对应的相机位姿参数信息；进行预实验，获得语义无关的空间3D高斯；进行语义特征训练，在步骤2中保存的模型基础上，为空间3D高斯添加语义特征字段，将添加的语义字段通过特征升维与稀疏采样模块完成特征维度提升，同时将训练输入图像通过实例一致的CLIP特征提取模块获取训练真实值用于语义训练的监督；采用反向传播算法对空间3D高斯的语义特征字段进行优化训练；通过给定的测试视角相机位姿参数，对训练得到的空间3D高斯的语义特征字段进行视角渲染，得到高维语义特征图。