摘要
本发明公开一种通用人工智能非线性激活函数的高性能推理电路实现方法,本发明采用自适应分段二次多项式拟合方法迭代给出非线性激活函数在给定范围内的分段阈值thds和对应分段的二次多项式系数,构建系数筛选电路根据阈值和输入数值大小选通输入所在分段的二次多项式系数,二次多项式推理部分电路接收输入及其所在分段的二次多项式系数,输出高精度量化计算结果。在标准测试集ImageNet上测试显示:与现有设计进行对比,本发明具有更高的推理精度和性能,能在全区间内支持现有CNN、Transformer等深度学习模型中大部分非线性激活函数的高精度拟合和全量化计算。
技术关键词
多项式
分段
非线性
高性能
曲线
电路
节点
连续性
深度学习模型
采样点
精度
数值
代表
动态
间距
尺寸
系统为您推荐了相关专利信息
业务执行方法
上下文感知技术
量子傅里叶变换
量子态
机制
PZT传感器
追溯方法
频率
模数转换器
随机森林模型