一种针对端侧的大语言模型快速生成令牌的方法

本发明涉及一种针对端侧的大语言模型快速生成令牌的方法，属于大语言模型技术领域，包括：获取输入文本；将输入文本输入预训练的快速生成令牌模型中，快速生成令牌模型包括大语言模型和自投机解码模块；大语言模型根据输入文本生成隐藏状态向量，根据隐藏状态向量生成初始令牌，自投机解码模块根据隐藏状态向量生成多个候选令牌，根据初始令牌和候选令牌构建树结构；通过大语言模型对树结构中的每条路径进行验证；大语言模型根据验证结果更新隐藏状态向量，并根据新的隐藏状态向量生成新的初始令牌，自投机解码模块根据新的隐藏状态向量生成新的候选令牌，以循环迭代，直至达到终止条件后，将验证结果合格的路径中的令牌作为最终输出。