SAM2视觉基础模型辅助的车载激光点云语义分割方法及系统

本发明涉及点云处理技术领域，特别涉及一种SAM2视觉基础模型辅助的车载激光点云语义分割方法及系统，利用SAM2模型和点云网络构建用于从不同模态中学习互补信息的语义分割多模态学习模型，并利用训练样本对对多模态学习模型进行联合训练，将联合训练后的点云网络作为点云语义分割目标模型，其中，联合训练中，利用SAM2模型提取目标分割掩码并基于语义分类器利用目标分割掩码语义分数来约束点云网络预测点云语义一致性，以在模态交互中通过知识蒸馏将图像颜色和纹理知识融入至点云网络训练；将待处理的车载激光点云输入至点云语义分割目标模型中，以对待处理的车载激光点云进行语义预测输出。本发明可提升点云语义分割性能，能够取得多模态交互增益效果。