推理方法、装置、设备、集群、产品以及介质

本申请提供了一种推理方法、装置、设备、集群、产品以及介质。所述方法包括：网关基于第一推理请求从多个计算实例中选择第一计算实例，并将第一推理请求发送给第一计算实例；第一计算实例根据第一推理请求进行推理得到第一推理结果以及中间参数；第一计算实例将第一推理请求、第一推理结果以及中间参数存储在内存池中；第一计算实例将第一推理请求返回给所述网关；网关基于第一推理请求从多个计算实例中选择第二计算实例，并将第一推理请求发送给第二计算实例；第二计算实例基于第一推理请求从内存池中读取第一推理结果以及中间参数存储，并基于第一推理结果以及中间参数继续进行推理得到第二推理结果，第二推理结果包含第一推理结果。