一种面向异构GPU集群的资源分配与任务调度方法及系统

本申请提供了一种面向异构GPU集群的资源分配与任务调度方法及系统。该方法基于系统当前排队任务数量、运行任务数量以及任务到达率，利用Little定理动态计算系统的平均响应时间，当系统响应时间超过最晚服务时延时，触发基于资源效用的亲和度感知算法与市场化资源调度算法，获得新的资源分配和任务调度方案，实现合理的资源分配与任务调度优化。该申请深入感知模型与硬件的亲和度，充分挖掘不同任务模型在异构GPU上的性能差异。同时，通过引入市场配置机制，建立了基于供需动态平衡的资源分配框架，实现了资源配置效率的优化，在保证任务服务质量的前提下，该方法有效提高了GPU集群整体资源的利用率。