任务的资源调度方法、设备及存储介质

本申请提供了一种任务的资源调度方法、设备及存储介质，通过预先训练时延预估器，并在深度学习模型运行过程中基于时延预估器预测核函数的运行时延，不仅避免了模型运行过程中预估时延对于GPU时间片的占用，而且加速了运行过程中时延预估的过程。并且根据核函数的运行时延确定核函数的调度优先级，并基于调度优先级对各核函数进行资源调度，实现了核函数级别的资源调度，针对任务请求中不同核函数的资源需求，本申请的方法提升了资源调度的细粒度，并且有效的提升了GPU的资源利用率。