面向基础设施缺陷检测大模型的领域知识增强方法及设备

本发明提供了一种面向基础设施缺陷检测大模型的领域知识增强方法及设备。首先构建基础设施缺陷检测领域的多模态数据集，构建包含缺陷类型及背景信息的知识库，并将其转化为知识图谱；基于所述图谱，通过图神经网络生成融合领域知识的高维特征向量。同时，从图像、点云、深度图等多模态数据中提取单模态特征，并利用交叉注意力机制进行融合，得到多模态融合特征。随后，将领域知识向量与多模态融合向量拼接，输入大模型中进行训练，实现对基础设施缺陷的高精度检测。本发明通过引入结构化的领域知识与多模态融合机制，有效提升了大模型在复杂基础设施场景中的缺陷检测准确率与鲁棒性，具有良好的工程适用性和推广价值。