基于LoRA的大模型微调方法、装置、计算机设备及存储介质

AITNT
正文
推荐专利
基于LoRA的大模型微调方法、装置、计算机设备及存储介质
申请号:CN202510117847
申请日期:2025-01-23
公开号:CN120046733A
公开日期:2025-05-27
类型:发明专利
摘要
本申请涉及一种基于LoRA的大模型微调方法、装置、计算机设备及存储介质。方法包括:固定已训练的初始模型的参数;在固定的参数上累加微调参数,得到融合后的参数;其中,微调参数是根据权重矩阵对第一矩阵和第二矩阵进行加权计算得到的;采用融合后的参数对样本数据进行处理,对第一矩阵、权重矩阵和第二矩阵进行调整,得到已训练的第一矩阵、权重矩阵和第二矩阵;根据已训练的第一矩阵、权重矩阵和第二矩阵,计算微调参数的调整结果;将微调参数的调整结果累加到初始模型的参数上,得到已训练的目标深度学习模型。采用本申请,能够实现提高模型的处理灵活性和预测效果。
技术关键词
矩阵 参数 深度学习模型 微调方法 计算机设备 样本 图像处理模型 数据 微调装置 文本 模块 处理器 可读存储介质 存储器 元素
系统为您推荐了相关专利信息
1
一种面向氢能无人机的飞行数据采集方法及系统
飞行数据采集方法 无人机 氢能 飞行数据采集系统 参数
2
机械臂控制方法、装置、电子设备及计算机程序产品
机械臂控制方法 坐标 像素 计算机程序产品 机械臂控制装置
3
一种基于shap理论的特征归因解释提升树的方法
归因 理论 展示模型 数据 高风险
4
流水式氛围灯的控制方法、系统、车辆、存储介质及程序
流水式 氛围灯控制器 车身域控制器 人机交互界面 氛围灯控制方法
5
一种跨模态行人重识别及训练方法
行人重识别 跨模态 特征提取网络 语义特征 样本
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号