摘要
本发明公开了一种电力垂直领域的多模态大模型训练优化方法及装置,涉及电力行业垂域大模型训练技术领域。本发明将剪枝方法注入多模态大模型完成电力垂直领域业务场景的训练,解决大模型训练时权重参数量大、显存要求高、训练时间长和计算资源要求高等问题,通过低秩微调方法对剪枝后的多模态大模型进行微调训练,对剪枝导致的模型精度损失进行补偿,既可以压缩模型大小,使其更适合训练和部署,又能保持大模型强大的泛化能力,得到易于部署的电力领域多模态大模型。
技术关键词
训练优化方法
大语言模型
剪枝方法
多模态
电力
网络结构
梯度下降法
模型训练技术
交叉注意力机制
模块
微调方法
场景
数据
样本
视觉特征
优化装置
表达式