基于多模态的钢卷表面缺陷检测方法、装置、设备及介质

本发明涉及钢卷检测技术领域，公开了一种基于多模态的钢卷表面缺陷检测方法、装置、设备及介质，该方法通过获取包含钢卷表面的输入图像以及输入图像对应的任务描述；对输入图像与任务描述进行编码转换，确定离散序列；将离散序列输入编码器解码器模型，获得任务输出序列；根据任务输出序列进行反量化推理，确定输入图像的检测框、掩码和缺陷描述信息，以完成钢卷表面缺陷检测。本申请通过输入图像与任务描述所形成的样本对，能够快速获取不同缺陷类型的样本，有利于模型训练的迅速迭代，同时，通过多模态图像集合，直接输出检测框、掩码和缺陷描述信息，也提高了钢卷表面缺陷检测精度以及检测适用范围。