面向异构集群环境的模型流水线划分及部署方法和系统

本发明公开了面向异构集群环境的模型流水线划分及部署方法和系统，涉及到人工智能技术领域，包括：遍历模型工作流，得到当前GPU上模型每一层的执行时间，据以通过算力比例来估算模型每一层在异构GPU上的执行时间；根据GPU总算力将模型切分为执行时间相等的虚拟阶段块，以算力最低的GPU为基准，在其他GPU上按算力比例分别放置虚拟阶段块，得到模型逻辑分割结果；构建GPU之间的网络拓扑图，利用图搜索算法得到全部GPU设备物理映射的排序队列，将GPU根据排序队列中位置进行排序，并将模型逻辑分割结果映射到排序队列的物理节点上；该模型流水线划分及部署方法和系统提高了设备利用率，减少了流水线空闲时间。