摘要
本申请涉及模型训练技术领域,具体涉及一种模型训练检查点更新方法、装置、设备及存储介质,该模型训练检查点更新方法包括以下步骤:每次迭代后,保存每层更新变化量超过变化量阈值的参数至检查点;根据更新变化量超过所述变化量阈值的参数,更新所述参数对应层的变化量阈值。能够解决现有技术中采用全量检查点方案,存在存储开销大,以及频率受限的技术问题。
技术关键词
检查点
更新方法
参数
因子
模型训练技术
移动平均算法
可读存储介质
偏差
回归算法
处理器
滑动窗口
基准
程序
存储器
计算机
受限
指数
模块
频率
网络