一种多模态缺陷检测方法、装置及设备

本发明提供一种多模态缺陷检测方法、装置及设备，所述方法包括：确定基础模型，基础模型为文字‑图像分割模型；构建可训练的第一模块，第一模块用于提升基础模型对文本中裂缝描述性信息的解析能力；构建可训练的第二模块，第二模块用于提升基础模型捕捉空间上长距离依赖的能力，保全局部信息；构建可训练的第三模块，第三模块用于提升基础模型在复杂场景下的道路裂缝边缘检测能力；将第一模块、第二模块及第三模块添加至基础模型中，并训练得到道路裂缝识别模型；将待识别数据输入至道路裂缝识别模型中，得到道路裂缝识别结果，待识别数据包括文本数据和图像数据。本发明的方法能够低成本、快速准确地进行复杂场景下的多模态缺陷检测。