摘要
本申请实施例提供了一种模型训练方法、文本分类方法、装置、电子设备及介质,属于人工智能技术领域。该方法包括:在当前迭代轮次,将随机种子和投影参数分别加入种子队列和投影队列,依次从种子队列中获取一个目标随机种子,根据目标随机种子生成目标高斯伪随机向量,根据目标随机种子获取投影队列中的投影参数,得到目标投影参数,并将目标高斯伪随机向量和目标投影参数相乘,确定目标零阶梯度估计,根据预设学习率、预设动量参数、每个目标随机种子在种子队列中的位置标识和对应的目标零阶梯度估计对预设大语言模型的模型参数进行更新,直至当前迭代轮次达到预设迭代次数阈值,得到目标大语言模型,能够减少模型训练所需的内存空间。
技术关键词
大语言模型
自然语言文本
种子
队列
模型训练方法
文本分类方法
参数
阶梯
先进先出
文本分类装置
标签
电子设备
标识
可读存储介质
人工智能技术
处理器
决策
指数
存储器
系统为您推荐了相关专利信息
机器人运动控制
深度强化学习
调优方法
机器人状态信息
大语言模型
学习效果评估
点击流数据
学生
在线
模型训练方法
语音交互方法
指令
大语言模型
槽位识别
可读存储介质
多智能体强化学习
纠错模块
体控制系统
数据收集模块
数据获取模块