基于RKNN平台的多深度学习模型推理调度方法与系统

本发明提出了一种新的基于RKNN平台的多深度学习模型推理调度方法和系统，所述方法包括步骤：S1，建立多深度学习模型；S2，将模型Mi的任务集Ti的任务放置到相应的优先级的任务队列中等待；S3，调度引擎按照优先级降序搜索任务队列中的非空队列，选择该非空队列中的第一个任务实例作为传输任务，并发送至NPU核心；S4，计算NPU核心的负载均衡度，判断所述负载均衡度是否超出预设阈值；S5，在所述负载均衡度超出所述预设阈值时，对NPU核心进行负载均衡。本发明提高了多任务推理过程中的负载均衡，提高了系统的持续运行能力和能源效率资源利用率，避免了任务之间的资源争用，降低了推理延迟，提升了系统的响应速度。