一种基于预生成token的星载大模型投机解码方法和装置

一种基于预生成token的星载大模型投机解码方法和装置，其方法包含：步骤1）离线预生成所有token的下一个token，得到预生成token字典对；步骤2）推理时，通过步骤1）猜测之后的token序列，并使用文本生成模型进行验证猜测到的序列，在模型在线推理生成token的时候，依据token字典对进行token查询，猜测生成之后的token，在线验证token预生成模块猜测得到的token正确性，当验证成功之后，即接受猜测的token，从而实现大模型token解码的加速生成。本发明在线推理时进行token查询猜测，并进行验证，提高大模型每一次推理时得到的正确token数量，从而加快token的生成速度。