一种自适应精度神经网络训练方法、系统及图像分类方法

AITNT
正文
推荐专利
一种自适应精度神经网络训练方法、系统及图像分类方法
申请号:CN202410937603
申请日期:2024-07-12
公开号:CN118898277A
公开日期:2024-11-05
类型:发明专利
摘要
本发明提供一种自适应精度神经网络训练方法和系统,包括:计算模型训练过程中的权重、激活和梯度对模型损失的敏感度度量,衡量各个层量化的影响;基于所述敏感度度量,设计权重、激活和梯度的位宽分配方案,在训练过程每经过一定的训练时间,根据所述敏感度度量对位宽逐层进行动态调整;各个层根据权重、激活和梯度调整后的当前位宽,选择对应的低位整数矩阵计算算子,替换掉原有的浮点计算算子。本发明能够在保证网络训练后的性能的前提下,降低网络训练过程中的计算量,减少神经网络训练在实际场景下的开销。
技术关键词
神经网络训练方法 度量 神经网络训练系统 图像分类方法 图像分类神经网络 精度 因子 矩阵 浮点数 代表 线性 偏差 处理器 对象 动态 可读存储介质 存储器 参数
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号