基于知识引导特征增强与多模态融合的三维密集描述方法

本发明公开了一种基于知识引导特征增强与多模态融合的三维密集描述方法，该方法首先搭建并训练包括三维目标检测模块、知识引导特征增强模块、多模态融合模块以及文本生成模块的端到端三维密集描述网络；在描述过程中，输入的场景点云首先通过三维目标检测模块转化为视觉特征，利用知识引导特征增强模块以目标类别为查询条件，从知识图谱中检索并编码相关知识特征，将知识特征与视觉特征通过多模态融合模块融合为目标特征向量；将目标特征向量输入到文本生成模块中，生成场景中各目标及其相互空间关系的自然语言文本。与现有技术相比，本发明的方法通过引入先验语义知识，生成的描述文本在目标细节和空间关系等方面更为准确、详尽。