面向算法训练的GPU集群高效调度的方法及系统

本发明公开了一种面向算法训练的GPU集群高效调度方法及系统，包括：训练任务拆分、集群利用率及健康状况指标监控、显存共享与隔离以及GPU分时共享、任务调度。本发明借助k8s集群管理框架动态分配任务并将任务信息、集群状态信息以及任务实时状态信息等数据录入，结合开源的GPU显存共享和隔离插件，借助k8swebhook插入自定义的调度逻辑，可以实现每个子任务的每个步骤都按需调度到合适的集群节点上而且借助插件和自定义webhook以及pod Operator。实现了算法任务调度的最大灵活性和较高的GPU集群利用率，使得用户无需关心底层分配的逻辑和细节，只需要等待任务执行完成并拿到最终执行结果即可，不存在任务超限被系统终止的情况，也降低了集群不稳定的风险。