调度引擎、调度方法、电子设备、存储介质和程序产品

本公开涉及计算机技术领域，具体公开了一种调度引擎、调度方法、电子设备、存储介质和程序产品，调度引擎包括任务管理器、中心管理器和任务执行体，任务管理器用于接收推理任务；中心管理器用于从人工智能处理器的处理器内存中划分出多个内存块，并将多个内存块的内存块信息压入内存块信息队列中，在任务管理器完成推理任务的预处理时，将推理任务压入其中一个任务执行体对应的任务队列中，并基于推理任务的令牌所需的内存空间和内存块信息队列中的内存块信息，为推理任务分配用以保存令牌的目标内存块；任务执行体用于执行推理任务，不同任务执行体与人工智能处理器的不同内核相关联，并在所关联的内核中执行推理任务。可以提高模型推理速度。