大语言模型推理方法、装置、计算机设备及存储介质

本公开提供一种大语言模型推理方法、装置、计算机设备及存储介质，属于人工智能技术领域。本公开的大语言模型推理方法包括：根据令牌序列请求，查询本级缓存中存储的令牌序列；若本级缓存中存储的令牌序列被命中，则返回缓存结果；若本级缓存中存储的令牌序列未被命中，则查询下一级缓存；若各级缓存中存储的令牌序列均未被命中，则生成推理结果；将推理结果写入各级缓存，并返回推理结果。