一种基于多模态大模型的点云全景分割方法、系统及设备

本发明涉及点云全景分割领域，提供了一种基于多模态大模型的点云全景分割方法、系统及设备。该方法包括获取点云数据和描述点云场景的文本；基于文本数据，采用文本编码器，得到文本嵌入特征；基于描述点云场景的文本，采用点云编码器，得到点云嵌入特征；将文本嵌入特征和点云嵌入特征输入至多模态理解适配器中，得到文本特征和点云特征；将文本特征和点云特征融合，得到融合特征；在多模态大模型中每间隔设定个的隐藏层引入融合特征进行多模态融合，得到全景特征；将全景特征输入至解码器中，得到全景分割结果。本发明结合图像、文本等模态的信息可以帮助算法更准确地识别点云中的不同全景，并减少误分割和漏分割的情况。