利用动态树结构投机解码加速大模型推理的方法和系统

本发明涉及一种利用动态树结构投机解码加速大模型推理的方法和系统。该方法包括：采用小模型对输入的文字进行处理，生成树结构的预测字符；将输入的文字和小模型生成的预测字符一起输入大模型，通过大模型推理过程得到大模型的输出结果，并判断是否接收小模型生成的预测字符，从而得到最终生成的文本。本发明的树形推理结构能够利用期望接收概率更高的分叉节点，在增长推测长度的同时期望生成更多的令牌，从而达到加速大模型推理的目的；本发明的动态决定结束条件的设计可以在该方法表现不佳时候更快地结束，相比同类方法有更好的综合性能。