一种基于多模态融合的金属焊缝缺陷检测方法和缺陷检测网络框架

本发明公开了一种基于多模态融合的金属焊缝缺陷检测方法和缺陷检测网络框架，所述金属焊缝缺陷检测方法依次分为点云数据采集、数据预处理、数据增强、生成彩色深度图像、搭建改进后的PointNet++焊缝缺陷检测模型、搭建YOLOv5焊缝缺陷检测模型和融合模型结果。针对焊缝缺陷尺寸小、特征复杂的特点，本发明可以反映出焊缝缺陷的深度与高度特征，相比于二维图像的深度学习精度更高。通过将PointNet++的结果与YOLOv5融合，重新分配坐标范围内预测的缺陷点的权重，解决了单独使用PointNet++时检测结果不稳定的问题。