用于大语言模型的softmax计算方法、装置及存储介质

本发明涉及一种用于大语言模型的softmax计算方法、装置及存储介质。所述方法包括：获取大语言模型输出的全部token，并对全部token的分值进行排序，根据排序结果选取分值位于预设区间的token并将剩余的token剔除，以得到处理后的分类向量，将分类向量从浮点型数值量化为第一比特宽度的整数，并将第一比特宽度的整数输入至softmax分类器中进行softmax运算，得到softmax概率值，将运算得到的softmax概率值量化为第二比特宽度的整数，以得到分类结果。本发明中的softmax算法引入了量化技术，大幅度降低了计算量，提升了大语言模型的推理效率。在特定的softmax的硬件实现架构下，提高了llama模型在实际应用中的性能和效率。