一种大语言模型softmax函数硬件加速电路及方法

本发明公开了一种大语言模型softmax函数硬件加速电路及方法，属于超大规模集成电路的神经网络硬件加速领域。通过将输入序列分成若干个并行处理的数据块，同时采用三级流水划分，将平均单次计算延迟缩短到G个时钟周期，提高计算并行度，提升了softmax函数的计算速度，降低了推理延迟；还通过引入稀疏阈值比较的稀疏掩码策略，充分利用数据的稀疏性，解决softmax函数高计算复杂度、高计算延时以及softmax函数数据访存瓶颈的问题，显著降低了计算成本，提高计算效率。本发明还通过构建适配于上述软件优化的softmax函数硬件电路，通过该硬件电路降低计算延迟和访存压力，提高了数据处理的效率。