摘要
本公开提供了一种优化器的数据量化方法、装置、电子设备和介质,涉及数据处理技术领域,尤其涉及数据量化技术领域。实现方案为:获取优化器的梯度数据,其中,梯度数据包括初始一阶动量和初始二阶动量;根据初始一阶动量和初始二阶动量确定初始更新率,其中,初始更新率指示初始一阶动量和初始二阶动量之间的比例关系;对初始一阶动量和初始更新率进行量化操作,得到量化一阶动量和量化更新率以进行存储;对量化一阶动量和量化更新率进行反量化操作,得到目标一阶动量和目标更新率;以及根据目标一阶动量和目标更新率确定目标二阶动量,以基于目标一阶动量和目标二阶动量更新神经网络模型的训练参数。
技术关键词
数据量化方法
神经网络模型
梯度算法
反量化模块
浮点数
电子设备
数据处理技术
计算机程序产品
子模块
处理器通信
指令
可读存储介质
关系
存储器
参数
系统为您推荐了相关专利信息
工作状态信息
长短期记忆神经网络模型
防脱钩装置
防脱挡板
起重机吊钩
脉冲神经网络模型
系统日志
词嵌入向量
序列
脉冲特征
注意力
训练文本数据
卷积神经网络模型
自然语言识别
词向量构建
挤压铸造工艺
参数设计方法
LSTM神经网络模型
数据
LSTM模型
排水管网系统
监测点
反演方法
节点
SWMM模型