一种基于多模态对比学习的输电线路缺陷识别方法

本发明提供一种基于多模态对比学习的输电线路缺陷识别方法，构建输电线路图像‑文本‑标签数据集，在利用现有视觉‑语言模型中强大预训练表征的同时，通过电力领域特有的辅助预训练任务引入了文本模态数据中蕴含的电力语义知识，有效改善了输电线路缺陷识别的精度。同时，设计基于对比学习的微调策略，在下游输电线路缺陷识别任务的基础上添加I TC，使用两种任务微调整个识别模型来缓解微调阶段的过拟合问题，训练得到最终的输电线路缺陷识别模型。