摘要
本申请实施方式提供了一种模型运行方法及相关设备。模型运行方法包括:确定第一待运行模型分别对应于同一设备内多个计算单元的第一资源预占用值;根据各第一资源预占用值以及所述多个计算单元分别对应的剩余资源值,从所述多个计算单元中选取可运行所述第一待运行模型的计算单元作为目标计算单元;利用所述目标计算单元运行所述第一待运行模型。模型运行方法及相关设备可以提升单设备用于模型运行时的算力利用率。
技术关键词
模型运行方法
资源
计算机程序产品
计算机设备
可读存储介质
图形处理器
处理单元
计算机视觉
中央处理器
队列
存储器
视频
图像