一种基于大语言模型的三维点云场景理解方法及相关产品

本申请公开了一种基于大语言模型的三维点云场景理解方法及相关产品，该方法包括：获取待理解的三维场景；采集待理解的三维场景的多幅二维多视角图像；基于多幅二维多视角图像得到视图场景特征；利用视图场景特征和待理解的三维场景对应的三维点云数据对三维可学习查询向量进行交互学习，得到三维感知场景嵌入表征；利用大语言模型理解三维感知场景嵌入表征，并生成待理解的三维场景对应的理解结果。本申请利用视图场景特征提升了大语言模型的理解准确性。利用视图场景特征和三维点云数据对三维可学习查询向量进行交互学习，使三维感知场景嵌入表征融合了来自不同模态的信息，使大语言模型可以更准确的理解三维场景中的复杂信息。