推理系统的负载感知调度方法和推理系统

本申请一个或多个实施例提供一种推理系统的负载感知调度方法和推理系统，所述方法应用于推理系统中的全局调度器；所述推理系统还包括推理引擎；所述推理引擎包括部署在计算集群中的各个计算节点上的至少一个计算实例；所述计算实例的计算资源包括所在的计算节点上搭载的GPU；所述全局调度器维护了动态更新的各个计算实例的GPU负载信息；所述方法包括：获取待执行的目标推理请求；基于所维护的各个计算实例的GPU负载信息，确定GPU负载满足预设条件的目标计算实例；将所述目标推理请求发送至所述目标计算实例，以由所述目标计算实例执行所述目标推理请求。