摘要
本发明公开一种基于分组细粒度结构化剪枝的视觉Transformer加速器,属于计算、推算或计数的技术领域。本发明通过基于增量的M:8分组细粒度结构化剪枝和整型量化,轻量化模型的硬件资源需求;提供了一种针对轻量化算法的专用硬件计算电路,该硬件计算电路包括存储模块、自注意力机制矩阵计算模块以及控制模块,涉及专用计算单元与稀疏解码单元设计、基于改进的输入固定数据流的及脉动计算阵列设计等。本发明提出的方法应用较为简单,针对视觉Transformer模型具有较好的加速效果,并且硬件加速电路设计具有较高的计算能效。
技术关键词
数据选择器
加速器
视觉
注意力机制
编码
存储模块
输入端
系数可调
剪枝方法
参数
输出端
加法器
阵列
处理单元
周期
非线性
模式
乘法器
模型剪枝
系统为您推荐了相关专利信息
爬坡需求
需求预测方法
判断算法
电力系统
历史气象数据
三维位移测量方法
双目视觉结构
像素
坐标系
授时模块