基于双模态交互的开放词汇三维场景理解方法

本发明涉及涉及图像处理和计算机视觉技术领域，公开基于双模态交互的开放词汇三维场景理解方法，包括以下步骤：将原始点云数据输入三维场景理解模型，得到三维场景理解特征，所述三维场景理解特征同时具有文本信息描述和点云特征向量；所述三维场景理解模型包括点云特征提取网络、预训练图像语义提案网络、预训练图像生成文本网络、预训练文本编码网络、自适应语言文本编码器；构建损失函数对所述三维场景理解模型进行训练，所述损失函数包括实例预测损失函数、分类损失函数、图文匹配损失函数、关联损失函数。本发明结合点云、图像和语言类的模型，通过开放词汇和未见类别提高对三维场景的理解。