摘要
本发明涉及深度学习模型优化技术领域,尤其涉及一种动静态合并的算子调度与高低位扫描轻量化加速方法,包括建立形状通用空间S并划分为多个相同的分块;将实际shape映射至形状通用空间后调度shape算子进行计算;根据实际shape映射结果构建成本模型,用于平衡微内核性能、硬件内核占用惩罚与shape填充惩罚间的最优成本;根据实际shape和成本模型分配最优微内核;对深度神经网络模型的参数的高位和低位进行扫描量化,并使用层级量化敏感度调整参数精度;有效提升模型在低精度下的稳定性与推理性能。
技术关键词
深度神经网络模型
分块
动静态
深度学习模型优化
内核
平铺
精度
比特数
层级
超参数
符号
数据
变量
理论
矩阵
代表
动态