一种基于多模态大模型的变电站指针表计识别方法与系统

本发明公开了一种基于多模态大模型的变电站指针表计识别方法与系统，该方法构建并训练了指针表计区域目标检测模型，并对多模态大模型进行微调形成表计多模态模型。巡检设备监测采集到的待识别指针表计图像依次传输给表计区域目标检测模型和表计多模态模型，最终获取指针表计读数。本发明通过多模态大模型配合表计图像文本对数据集进行微调改进，同时结合目标检测模型，实现变电站内各指针表计读数的监测及告警，避免了人力巡检耗费大，效率慢，记录失误等问题。