一种基于大语言模型的推理方法、装置、及电子设备

本发明实施例公开一种基于大语言模型的推理方法、装置及电子设备，涉及计算机技术领域，能够加快目标序列的形成，提高大语言模型的推理速度。所述方法包括：基于初始输入序列，草稿模型并行生成N个序列的头部词元，其中N为大于2的正整数；将每一个序列的头部词元，分别作为检索词，遍历高频词典树，以在所述高频词典树中检索以所述头部词元为首节点的子序列；将检索到的所述子序列，与对应的头部词元相组合形成以对应头部词元为头部的猜测序列，得到N个猜测序列；使用目标模型对所述N个猜测序列进行验证，从所述N个猜测序列中确定目标序列。本发明适用于基于大语言模型的推理中。