大语言模型的早退加速方法、计算系统及存储介质

本发明公开了一种大语言模型的早退加速方法、计算系统及存储介质，该加速方法包括：从大语言模型中选取若干个解码层，在被选中的解码层之后设置分类器；在每次前向过程中，采用草案模型生成多个草稿语义单元，并提取各草稿语义单元在语言模型头中对应的权重；判断某个被选中的解码层是否早退的过程中：根据该解码层输出的隐藏状态、权重以及上一个解码层的概率值计算得到分类器的输入，当分类器判断可以早退时，计算该解码层输出的隐藏状态针对完整词汇表中各语义单元的概率值，如果概率值最高的语义单元在草稿语义单元的集合中，则早退，完成此次前向过程。该方法通过草案模型缩小词汇表空间并优化了分类器效率，加速效果显著。