一种大语言模型的推理方法以及装置

本申请实施例公开了一种大语言模型的推理方法以及装置，用于提升大语言模型的推理计算效率。本申请实施例方法包括：接收推理任务，推理任务携带语素编号，语素编号用于标识待进行推理计算的语素，语素包括基于大语言模型的输入文本确定的一个或多个子词。基于推理任务对应的语素编号查询全局索引树，确定目标推理节点，全局索引树包括分布式推理集群中多个推理节点对应的子树，目标推理节点对应的子树为全局索引树中与语素编号的相似匹配度大于阈值的子树，相似匹配度指示推理计算中可复用的键值缓存数据数量。基于目标推理节点执行推理任务。