一种基于参数动态化的模型训练加速方法

AITNT
正文
推荐专利
一种基于参数动态化的模型训练加速方法
申请号:CN202410993782
申请日期:2024-07-23
公开号:CN118779658A
公开日期:2024-10-15
类型:发明专利
摘要
本发明属于模式识别、机器学习、人工智能技术领域,且公开了一种基于参数动态化的模型训练加速方法,该模型训练加速方法步骤为:步骤一,数据读取;步骤二,梯度更新;具体步骤为:S1,数据收集与预处理;S2,参数规范化;S3,范数调整;S4,频次加权裁剪阈值;S5,梯度规范化;S6,计算最终裁剪阈值;S7,梯度裁剪;S8,参数更新。本发明不增加硬件资源、不需手动调参,并且保证模型效果持平的情况下,进一步提升模型训练速度,采用基于一种梯度自动裁剪的方式,保证扩大批次的数据量不会降低模型效果,并且极大地提升模型的训练速度和策略迭代速率,从而提高模型的时效性和策略迭代速率。
技术关键词
TensorFlow框架 数据存储空间 更新模型参数 深度学习模型 裁剪技术 人工智能技术 模式识别 数据同步 数据格式 浮点数 多线程 批量 时效性 策略 因子 动态 速率 精度
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号