基于三维高斯泼溅的多模态三维实例分割方法

本发明涉及计算机视觉技术领域，公开基于三维高斯泼溅的多模态三维实例分割方法，包括步骤：将RGB图像通过运动结构重建生成稀疏的三维点云；并对稀疏的三维点云进行优化，生成三维高斯泼溅分布；通过多模态三维实例分割模型对RGB图像的二维特征和三维高斯泼溅分布的三维特征进行融合，得到融合特征；通过二维U‑Net网络提取RGB图像中的二维特征，通过稀疏3D U‑Net网络提取三维高斯泼溅分布中的三维特征；通过多模态三维实例分割模型的交叉注意力模块对二维特征和三维特征进行融合，最后输出分割实例的类别标签、掩码和置信度分数。本发明引入三维高斯泼溅技术，结合多模态神经网络共享权重，提高三维实例分割的精度和效率。