文本推理方法、装置、计算机设备和可读存储介质

本申请涉及一种文本推理方法、装置、计算机设备和计算机可读存储介质。所述方法包括：获取大语言模型的候选通道，确定所述候选通道中的目标通道；确定所述目标通道对应的令牌数量；所述令牌数量随着所述目标通道层数的加深呈指数衰落；根据所述令牌数量在所述目标通道的候选令牌中确定目标令牌，基于所述目标令牌得到所述大语言模型的文本推理结果。采用本方法能够降低键值缓存的显存占用。