基于算子分块的神经网络模型并行优化方法及装置

本发明公开一种基于算子分块的神经网络模型并行优化方法及装置，包括硬件设备感知的算子分块过程和加权算子调度过程；硬件设备感知的算子分块过程包括：对神经网络模型进行展开，构建计算图；分析各设备的硬件特征，并据此建立各硬件设备的计算能力模型；遍历计算图，基于硬件设备的计算能力模型，对算子进行分块；加权算子调度过程包括：根据每个算子的分块方案，更新计算图，为每个算子节点赋予权值，计算图成为一个加权有向无环图；遍历计算图，计算每个算子节点的高度，并将高度作为算子节点的优先级；找到入度为0的算子节点集合，将其中优先级最高的节点放入执行队列，并在计算图中删除该节点和与节点相连的边，得到算子的有限拓扑序列。