一种基于电力缺陷多模态模型的微调方法、设备和介质

本发明公开了一种基于电力缺陷多模态模型的微调方法、设备和介质，通过获取基于专家评分的微调数据集，微调数据集的类型分布动态构建训练集，构建教师‑学生模型，采用训练集对教师‑学生模型进行训练，采用KL散度对训练后的教师‑学生模型进行模型拟合，得到拟合模型，根据微调数据集和拟合模型，基于InstructBLIP基础架构建立多模态微调模型，对多模态微调模型进行训练和优化，得到优化后的多模态微调模型进行缺陷微调。通过动态构建具有专家知识的训练集，解决了新增数据集存在的数据分布不均衡问题，从而高效率的使用新增的数据集，保证微调后的多模态模型具有高泛化能力和高稳定性。