一种面向单GPU环境的AI模型并行训练任务调度方法及装置

本发明公开了一种面向单GPU环境的AI模型并行训练任务调度方法及装置，属于单GPU资源调度领域，所述方法为：基于预设时间间隔获取单GPU环境的当前硬件资源状态和空闲量；若当前硬件资源状态为空闲状态，按先进先出规则从训练请求队列获取当前训练请求，并输入资源消耗预测模型得到硬件资源消耗量，资源消耗预测模型由基于历史训练数据处理的第一样本数据集训练深度学习神经网络获得；若硬件资源消耗量小于空闲量，则在单GPU环境创建训练进程并训练对应AI模型。因此，通过实施本发明，能够解决现有技术中难以在保障单张GPU上进行多个AI模型训练的同时、提高单张GPU资源利用率的问题。