面向众核超算的存储高效的大模型推理方法

本发明公开了一种面向众核超算的存储高效的大模型推理方法，涉及机器学习领域。该方法的总体架构基于对Transformer模型中Attention和FFN模块的显存优化，通过矩阵分块计算与动态显存管理实现推理阶段的存储高效性。首先进行参数分块与串行计算：在Attention模块中，将Q、K参数矩阵沿列方向竖切为多个子块，输入保持完整；串行计算每个子块与输入的乘积得到局部Q、K矩阵，并立即进行QKT分块乘法得到部分注意力分数；聚合所有子块的计算结果得到完整的注意力分数矩阵；随后利用Softmax归一化注意力分数，并与延迟计算的V分块串行相乘，拼接结果得到Attention输出；FFN模块的优化，将全连接层参数竖切为子块，输入完整数据依次与子块串行计算，每个子块的非线性变换结果实时拼接。