摘要
本发明公开了一种双稀疏矩阵的乘法加速方法、装置、设备、介质及产品。该方法包括:根据稀疏矩阵乘法需求,在计算芯片的全局内存中定位与第一稀疏矩阵匹配的压缩矩阵集合和第二稀疏矩阵;将压缩矩阵集合和第二稀疏矩阵,以数据分块的形式从全局内存中逐级搬运至计算芯片的硬件寄存器中;通过计算芯片的稀疏计算单元,根据硬件寄存器中分次加载的数据,逐步计算出第一稀疏矩阵和第二稀疏矩阵的乘法结果。本发明实施例的技术方案可以充分发挥计算芯片中稀疏计算单元的硬件加速性能,进而大大优化双稀疏矩阵乘法运算过程中的计算、带宽以及存储资源的开销,特别适用于混合专家模型的模型计算场景中。
技术关键词
分块
压缩单元
数据
存储单元
芯片
内存
执行乘法
索引
稀疏矩阵乘法运算
计算机程序产品
存储体
关系
可读存储介质
搬运模块
加速装置
模式
电子设备
系统为您推荐了相关专利信息
损伤预测方法
人体模型
车辆模型
关键词
汽车模型