摘要
本申请涉及人工智能技术领域,特别涉及一种数据处理方法、电子设备、存储介质及计算机程序。该方法中,在离线阶段,可以根据算子输入的浮点数据所处的浮点区间确定出输入数据的量化缩放系数,以及根据该算子输出的浮点数据所处的浮点区间确定出输出数据的量化缩放系数,然后通过输出数据的量化缩放系数对输入数据的量化缩放系数进行修正,得到修正后的量化缩放系数。修正后的量化缩放系数相比于修正前的量化缩放系数更加合理,通过修正后的量化缩放系数进行量化可以减小量化误差,从而减小量化后的算子的数据处理误差,进而减小神经网络模型的数据处理误差。
技术关键词
数据处理方法
电子设备
计算机
可读存储介质
人工智能技术
指令
神经网络模型
量化误差
阶段
处理器
存储器
参数
样本
离线
文本
音频
视频
程序
系统为您推荐了相关专利信息
检测模型训练方法
模型主体
图像
特征提取模块
解码模块
神经网络模型
胰岛素泵基础率
参数
时间段
计算机可执行指令