一种基于钢表面缺陷的双模态目标检测算法及系统

本发明涉及钢铁表面检测技术领域，尤其涉及一种基于钢表面缺陷的双模态目标检测算法及系统，包括采集钢表面数据，处理得到表征二维纹理信息的激光反射强度图像和表征三维深度信息的表面深度图像，搭建双模态特征提取与融合网络模型：在YOLOv8骨干网络中引入可变形卷积，构建一种并行特征提取策略实现特征融合，在特征提取之后对双模态图像特征进行融合，同时使用RGB图像和深度图像作为网络的输入，采用对IoU进行幂运算的PloU损失函数和CloU损失函数优化模型训练过程，识别输出结果；本发明极大地提升了钢表面缺陷的检出率，可以有效地保证产品的良品率，同时降低外界环境因素对算法的影响。