一种调度方法及服务器

本申请涉及数据处理技术领域，尤其涉及一种调度方法及服务器。在本申请实施例中，通过对不同集群下不同服务器的GPU利用率、CPU利用率、显存利用率、内存利用率、网络带宽、磁盘IO进行综合考量，得到每个候选服务器节点的资源利用率评分。电子设备采用预设阈值，对每个候选服务器节点进行筛选，并采用预设的服务器节点调度策略，实现将每个推理任务分发给筛选得到的每个服务器节点，在提高服务器资源利用率的同时，实现推理任务分配，快速找出最合理的服务器节点调度方案。