基于多模态跟踪与虚实结合的变形缺陷可视化检测方法、系统与介质

本发明提供一种基于多模态跟踪与虚实结合的变形缺陷可视化检测方法、系统与介质，该方法包括：获取待测对象的标准CAD模型数据，用于提供待测对象的标准几何信息；利用深度相机同步捕获待测对象的深度图像和颜色图像；将深度图像转换为三维点云模型并将颜色图像中的颜色信息与深度图像中的空间信息配准，使得每个三维坐标点具有相应的颜色信息；利用多个深度相机捕获的深度图像和颜色图像构造融合深度模态、纹理模态和区域模态的联合概率密度函数，并通过最大化联合概率密度函数，估计位姿变化并迭代优化位姿估计；在标准CAD模型数据的基础上，基于基准部分的配准，叠加优化后的待测对象位姿估计结果，通过虚实结合方式展示待测对象的变形和缺损。