摘要
本申请涉及一种基于神经网络硬件的量化方法、系统、设备及存储介质,涉及神经网络领域。其中方法包括:接收数据类型为BF16的初始数据;层归一化初始数据得到数据类型为BF16的activation数据;根据神经网络硬件设计矩阵乘法器;根据矩阵乘法器处理并计算activation数据得到第一数据;反量化第一数据得到反量化activation数据;输出反量化activation数据。本申请的技术效果是:保持大模型的性能的同时提高大模型运算速度。
技术关键词
矩阵乘法器
神经网络硬件
反量化模块
数据输出模块
数据接收模块
量化系统
数据处理模块
处理器
计算机设备
可读存储介质
存储器
速度
系统为您推荐了相关专利信息
危险驾驶预警
红外摄像仪
智能穿戴设备
制动系统
异构
异常数据
智能终端
马尔科夫链模型
历史运行数据
分布式能源系统
数据处理模型
计量设备
在线监测方法
烟丝生产线
在线监测系统