一种基于RISC-V向量的深度神经网络量化加速方法

AITNT
正文
推荐专利
一种基于RISC-V向量的深度神经网络量化加速方法
申请号:CN202410831667
申请日期:2024-06-25
公开号:CN119903880A
公开日期:2025-04-29
类型:发明专利
摘要
本发明公开了一种基于RISC‑V向量的深度神经网络量化加速方法,该方法包括如下步骤:根据向量寄存器堆大小进行分块,使得其大小和张量分块长度一致;计算分块后的张量的量化尺度(Δ,Quantization Scale)与零点(z,Zero Point)保存到一个全局数据结构中;修改编译器让其能识别拓展的乘除指令并完成编译;在向量架构下进行并行计算加速量化和反量化运算。本发明的目的在于解决目前不同神经网络在RISC‑V架构下量化与反量化时,执行相关的除加操作(Divide‑Accumulate Operation,DIVADD)和乘加操作(Multiply‑Accumulate Operation,MAC)时并行度较低、指令开销较大、数据在内存与计算单元间频繁移动而导致的额外功耗等问题。
技术关键词
深度神经网络 向量寄存器堆 全局数据结构 分块 自定义指令 风格 内存 标志 索引 功耗 规划 分层 程序
系统为您推荐了相关专利信息
1
工业互联网故障增量学习方法、装置、设备及介质
网络故障信息 增量学习方法 工业互联网 样本 数据
2
一种高维整周模糊度快速确定方法、介质及设备
整周模糊度 协方差矩阵 方程 卡尔曼滤波算法 观测噪声
3
一种基于拆分学习的大模型云边端协作训练框架及方法
终端设备 协作训练方法 云服务器 深度神经网络模型 参数
4
图像处理方法、装置、非易失性存储介质和计算机设备
非易失性存储介质 自定义指令 非均匀噪声 图像处理方法 雪花噪声
5
反射信道矩阵预测模型训练方法和反射信道矩阵获取方法
信道 预测模型训练方法 分块 超表面 矩阵获取方法
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号