模型运行方法及相关设备

AITNT
正文
推荐专利
模型运行方法及相关设备
申请号:CN202411838953
申请日期:2024-12-12
公开号:CN119739519A
公开日期:2025-04-01
类型:发明专利
摘要
本申请实施方式提供了一种模型运行方法及相关设备。模型运行方法包括:确定第一待运行模型分别对应于同一设备内多个计算单元的第一资源预占用值;根据各第一资源预占用值以及所述多个计算单元分别对应的剩余资源值,从所述多个计算单元中选取可运行所述第一待运行模型的计算单元作为目标计算单元;利用所述目标计算单元运行所述第一待运行模型。模型运行方法及相关设备可以提升单设备用于模型运行时的算力利用率。
技术关键词
模型运行方法 资源 计算机程序产品 计算机设备 可读存储介质 图形处理器 处理单元 计算机视觉 中央处理器 队列 存储器 视频 图像
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号