基于2D多模态大模型的3D零样本异常检测方法及装置

本发明公开了一种基于2D多模态大模型的3D零样本异常检测方法及装置。本发明基于2D多模态模型CLIP，在不依赖目标域样本的情况下实现3D异常检测，通过以下方式整合来自3D和2D的点云信息：首先，通过CLIP从多个视角渲染点云，获取点云的2D表示；将2D表示投影回3D空间，从而理解点云的3D表示；对2D表示进行额外的正则化，进一步增强该框架对3D表示的理解。在表征点云的点信息和像素信息之后，本发明提出了一种混合表示学习方法，将点云和像素中的泛化异常模式捕捉到可学习的文本提示中，实现对3D异常的精确检测。本方法首次实现了面向3D数据的高精度零样本异常检测，具有很强的创新性和工业应用价值。