一种多模态知识指导的输电线路缺陷检测方法

本发明实施例公开了一种多模态知识指导的输电线路缺陷检测方法，包括步骤：构建输电线路图像‑文本数据集，通过图像‑文本对比学习预训练将其中蕴含的输电线路相关多模态知识引入到视觉基础模型CLIP中；将承载输电线路相关多模态知识的CLIP模型预编码的嵌入矩阵引入Deformable DETR检测器的解码器中，实现多模态知识指导的检测器训练；将残差结构引入到Deformable DETR的解码器中，以缓解引入的多模态知识在解码器多层的注意力计算中被逐渐遗忘的问题；设计一种伪标签蒸馏目标函数，用多模态知识约束检测器训练过程中的优化方向，实现更稳定的训练效果。本发明用多模态知识指导输电线路缺陷检测器的训练过程，有效提高了缺陷检测的精度，具有良好的鲁棒性和稳定性。