面向传统深度神经网络系统的请求调度系统及方法

本发明公开了一种面向传统深度神经网络系统的请求调度系统及方法，包括客户端、调度器和调度侧，利用工作负载信息和模型信息对请求完成时间进行预测，使用启发式的方法对工作负载进行请求分配：通过检测工作负载的执行状态，结合硬件、模型的配置信息，预测工作负载中请求的完成时间，根据系统的实时状态，动态进行请求调度，灵活地调整任务的分配。本发明能够弥补现有的解决方案在深度学习推理系统任务调度方面的不足，并实现高效的深度神经网络系统任务请求调度。