基于多级投机采样的大语言模型推理方法、装置及设备

本申请公开了基于多级投机采样的大语言模型推理方法、装置及设备，涉及人工智能技术领域，方法包括：若与输入文本匹配的第一草稿经过修改，则将第一草稿输入到生成第一草稿的目标层级草稿模型；利用第一草稿当前所处层级的草稿模型根据第一草稿生成第二草稿；将第二草稿输入到下一层级草稿模型，并判断下一层级草稿模型是否对第二草稿作出修改；若第二草稿经过修改，则返回生成第二草稿的步骤；或，若第二草稿未经过修改，则返回判断第二草稿是否被修改的步骤，直至最后层级草稿模型生成的第二草稿通过原始模型的评估。本申请无需从第一层级草稿模型开始逐级推理，且通过多个层级的草稿模型增强最终草稿的生成质量，可提高推理效率。