推理重调度方法、装置、设备、介质及计算机程序产品

本发明提供一种推理重调度方法、装置、设备及可读存储介质。应用于包括推理调度器和多个推理服务器的推理调度系统。方法包括：在推理调度器与服务注册中心合设的情况下，基于每个推理服务器上报的负载状态信息，确定待重调度的第一推理服务器以及接收重调度的目标推理服务器；在推理调度器与推理服务器的流量网关合设的情况下，基于推理调度器记录的每个推理服务器的请求处理信息，确定待重调度的第一推理服务器以及接收重调度的目标推理服务器；基于第一推理服务器的请求排队时间信息，以及目标推理服务器的请求数量信息，将第一推理服务器的待重调度请求发送给目标推理服务器。本申请提升了推理重调度的整体性能。