基于多模态大模型的无人机光伏巡检缺陷识别方法及实时检测系统

本发明公开了基于多模态大模型的无人机光伏巡检缺陷识别方法及实时检测系统，包括以下步骤：数据采集：无人机沿飞行路线采集每块光伏板的可见光图像、红外热图及三维点云数据，并同时采集环境条件参数；数据预处理：利用Stable Diffusion模型对采集的每块光伏板图像数据进行图像增强；分割与定位：利用SAM模型对每块光伏板的预处理的数据实现缺陷区域的精细化分割和定位；特征提取：利用CLIP模型，通过训练好的CLIP模型对分割与定位后的图像结合文本描述提取综合特征；分类与识别：利用训练好的CLIP模型对综合特征进行匹配，根据匹配结果输出判断缺陷类型和严重程度，识别精度高，误判率低。