一种X:M动态注意力稀疏方法及装置

本发明公开了一种X:M动态注意力稀疏方法及装置，本发明的方法包括对注意力分数矩阵进行预测，并基于预测结果进行X:M结构化剪枝以得到剪枝结果；基于剪枝结果更新缓存中的最小行号和索引行数并调整调度阈值，并将符合条件的索引块号存入优先级队列，以将对应的索引映射到PEA处理单元阵列进行执行。本发明极大地减小了注意力预测的存储和计算开销，同时将X:M与调度算法相结合，使得应用型专用集成电路中的处理单元在不同稀疏度下都能保持极高的利用率。