多模态特征嵌入的室内三维场景理解方法及终端

本发明公开了一种多模态特征嵌入的室内三维场景理解方法及终端，方法包括：获取二维图像以及预处理后的点云数据，并对所述二维图像以及所述预处理后的点云数据进行多模态特征提取；将提取到的多模态特征进行融合得到多模态融合特征，通过所述多模态融合特征优化多模态特征嵌入式室内三维场景理解模型；根据所述多模态特征嵌入式室内三维场景理解模型对所述预处理后的点云数据进行语义特征的提取，并输出语义分类优化结果；本发明提出新的基于Transformer的3D语义实例分割模型结合多模态特征进行室内三维场景理解的方法，提高室内三维场景理解的准确性和全面性。