一种基于多模态的传送带裂痕检测方法及系统

本发明提出了一种基于多模态的传送带裂痕检测方法及系统，属于目标检测领域。所述方法包括：利用摄像头、第一检测模型与人工打标进行传送带异常数据集收集；当传送带异常数据集达到预设的规模阈值时，基于所述数据集，以多模态模型作为基座同时引入语言模型后建立第二检测模型并训练；使用第二检测模型替换第一检测模型，并重复执行上述过程。本发明实现了传送带异常数据的有效采集，同时利用多模态技术，通过文本语义连通图片数据和细粒度标签，实现了传送带裂痕的预测、检测任务，从而可以及时修补，避免物料泄露或污染，保护了环境。