用于加速非结构化稀疏大型语言模型推理过程的加速器

本发明公开了一种用于加速非结构化稀疏大型语言模型推理过程的加速器及其运行方法，包括：处理器模块、直接内存访问模块、内存控制器模块、DDR内存模块、互联总线模块、计算核心模块及路由器模块；互联总线模块与直接内存访问模块、内存控制器模块及计算核心模块连接；处理器模块与直接内存访问模块连接；DDR内存模块与内存控制器模块连接；路由器模块与计算核心模块、以及相邻路由器模块连接；计算核心模块通过互连总线模块从片外DDR内存模块获取待计算的数据。本发明打破了传统脉动阵列上仅沿单行或单列进行数据重用的界限，实现了跨行和跨列的数据重用，缓解硬件设备的压力，并且利用位掩码对非零元素位置进行编码，提高计算效率。