摘要
本发明涉及量化神经网络硬件推理模拟器及方法,通过软件模拟硬件推理,优化软件部署流程,也即在软件中完全模拟硬件计算,达到位精确的硬件推理结果,快速验证深度学习模型不同量化方案的推理结果,并且模拟硬件数据类型,也即在软件中模拟硬件上的低精度数据类型,确保数据类型一致,最后还模拟硬件计算行为,也即模拟硬件上的溢出处理、舍入误差以及饱和运算等计算细节,确保计算行为一致,最终有效减小量化推理中软硬件之间推理的差异,以提升深度学习模型部署的可靠性。
技术关键词
神经网络硬件
舍入误差
模拟器
应用程序编程接口
神经网络推理
分析工具
数据
模块
深度学习模型
软件
芯片
精度
因子
模式