摘要
本申请公开了一种深度神经网络加速推理方法、装置及存储介质。本申请方法包括:对标准数据集进行预处理,使用训练集训练深度神经网络模型;记录每层神经元或连接的权重分布以及L1范数;基于训练过程中记录的权重分布和L1范数,确定神经元或连接的重要性数值;按照预设比例剪除重要性数值低于预设的重要性阈值的神经元或连接,并在每次剪枝后动态调整深度神经网络模型的结构;确定量化位宽以及量化上下限值;对剪枝后的深度神经网络模型,基于量化位宽和量化上下限值,对权重和激活值进行假量化处理基于假量化后的结果,计算任务损失和量化误差损失,并更新全精度权重;使用联合损失函数优化模型参数。
技术关键词
深度神经网络模型
联合损失函数
量化误差
推理方法
构建深度神经网络
输入输出单元
图像处理
训练集
推理装置
数值
训练深度神经网络
多层感知机
浮点数
同义词
精度
可读存储介质
动态
申请方法
数据
系统为您推荐了相关专利信息
等效电路模型
电池参数辨识
辨识方法
内阻
激励电流数据
推荐方法
字典
数据可视化图表
构建深度神经网络
机器可读程序
激光雷达
分析系统
智能分析模块
反演算法
数据采集模块