一种基于双向块状浮点的大语言模型推理加速方法

本申请适用于计算机技术领域，提供了一种基于双向块状浮点的大语言模型推理加速方法，包括：通过将输入文本编码为Token序列，并在Transformer推理过程中以双向块状浮点数格式表示隐藏表示和logits，结合基于双向块状浮点数的查表法的Softmax归一化方法，实现低比特高效推理，生成推理结果。本申请在实现了在保持生成精度的同时，显著降低推理过程的计算复杂度与存储开销，提高了大语言模型的推理速度与能效比。