一种基于KubeRay框架的资源调度方法、设备及介质

本申请公开了一种基于KubeRay框架的资源调度方法、设备及介质，涉及资源调度技术领域。方法包括：接收训练任务请求，并对训练任务请求进行拆分，以获得若干个训练子任务；基于预设的资源预测模型，将若干个训练子任务分配至对应的训练节点进行训练；在接收到推理任务需求时，利用Ray Actor机制，生成与训练节点对应的推理节点，并实时监测在推理过程中训练节点与推理节点的资源使用情况；基于资源使用情况，对资源预测模型进行优化，并调整训练节点与推理节点的资源分配情况。本申请通过上述方法利用KubeRay框架实现了训练与推理的资源协同调度，使得资源利用率显著提升、推理延迟降低。