一种基于多模态视觉大模型的3D高斯单体化、语义化方法

本发明公开了一种基于多模态视觉大模型的3D高斯单体化、语义化方法，包括以下步骤：S1，进行场景的数据采集，并对采集的数据进行预处理，包括对图像进行语义标注和获得场景的点云信息；S2，构建3D高斯模型，并进行训练和高斯参数的优化；S3，将上述训练并优化参数后的3D高斯模型进行语义化；S4，将3D高斯模型进行单体化；S5，进行实时渲染和交互。本发明实现了多粒度分割并适应各种提示，包括文本提示、点选、涂鸦和2D掩码。该方法能够在几毫秒内完成3D分割，为3D场景的理解和交互提供了新的工具。