基于多级缓存机制的大模型推理方法、系统、电子设备及存储介质

本申请提供了基于多级缓存机制的大模型推理方法、系统、电子设备及存储介质，涉及计算机技术领域。其中，基于多级缓存机制的大模型推理方法包括：接收原始请求；基于各个实例的键值缓存分布和负载情况，确定原始请求对应的预填充实例和解码实例；通过预填充实例，基于三级缓存机制确定原始请求多个键值缓存块；基于键值缓存块，执行预填充阶段的计算，得到预填充阶段的首个输出标记；通过解码实例，基于预填充阶段的首个输出标记和键值缓存块进行解码阶段的计算，得到原始请求对应的完整输出标记；基于完整输出标记，确定原始请求的推理结果。由此，能够大幅提高了前缀缓存的命中率，有效缓解了负载不均衡的问题。