摘要
本发明公开了一种查询变换器的训练方法,包括获取用于训练查询变换器的图片文本对;根据大语言模型生成对应的指令调优数据信息;将得到的指令调优数据信息输入到查询变换器,以实现对查询变换器的训练。本发明还公开了一种包括了所述查询变换器的训练方法的多模态大模型预训练方法,以及包括了所述多模态大模型预训练方法的电力系统变电站检修方法。本发明通过创新的茶轩变换器的训练过程,并将训练后的查询变换器引入多模态大模型并进行对应的预训练,不仅实现了查询变换器的训练和多模态大模型的预训练,而且本发明得到的查询变换器和预训练的多模态大模型的可靠性更高,精确性更好,效率也更高。
技术关键词
变换器
图片
预训练方法
文本
大语言模型
电力系统变电站
注意力
指令
变电设备
数据
视觉特征信息
字幕
语义需求
前馈神经网络
多模态特征
像素