基于多阶段模型的推理系统、方法、可读介质及电子设备

本公开涉及计算机技术领域，公开了一种基于多阶段模型的推理系统、方法、可读介质及电子设备。该系统包括中间缓存模块与模型推理模块，其中模型推理模块包括特征构造子模块与结果推理子模块。在接收到推理请求时，可以基于推理请求中的缓存标识在中间缓存模块中查询中间结果，查询成功的情况下结果推理模块可以直接基于中间结果进行推理，获得推理请求对应的推理结果；查询失败的情况下由特征构造子模块基于推理请求中的原始特征构造中间结果，中间缓存模块将中间结果基于缓存标识进行缓存。该系统提供了特征处理与模型计算的统一部署平台，在全流程不同阶段可以避免额外开销，以及大部分推理请求可以复用缓存的中间结果，进一步降低系统开销。