推理系统的负载感知调度方法和推理系统

本申请一个或多个实施例提供一种推理系统的负载感知调度方法和推理系统，该方法应用于包括全局调度器和推理引擎的推理系统；推理引擎包括Prefill引擎和Decode引擎；Prefill引擎和Decode引擎分别包括至少一个计算实例；计算实例的计算资源包括所在的计算节点上搭载的GPU；该方法包括：全局调度器获取待执行的目标推理请求，以及基于所维护的GPU负载信息，确定GPU负载满足第一预设条件的Prefill引擎中的第一计算实例，并将目标推理请求发送至第一计算实例执行Prefill阶段的推理计算；Prefill引擎中与第一计算实例对应的第一本地调度器基于所维护的GPU负载信息，确定GPU负载满足第二预设条件的Decode引擎中的第二计算实例，并将Prefill阶段的推理计算结果发送至第二计算实例执行Decode阶段的推理计算。