一种推理方法及系统、电子设备、存储介质

本申请实施例涉及人工智能技术领域，公开了一种推理方法及系统、电子设备、存储介质。推理方法，包括：接收用户请求，其中，所述用户请求携带输入信息；根据所述输入信息，在第一缓存中进行匹配；基于所述第二缓存，将匹配到的token序列及其KV参数、所述输入信息传递至第三缓存，以使推理模型基于所述第三缓存进行推理计算，并将推理得到的token序列及其KV参数传递至所述第一缓存进行存储。至少有利于减少推理过程中的数据传输开销和成本，以进一步提高推理效率。