算子流的并行运行方法、计算机设备和可读存储介质

本申请涉及一种算子流的并行运行方法、计算机设备和可读存储介质。方法包括：将目标算子流划分为多个执行阶段；在目标算子流的运行过程中，针对任一执行阶段，在各人工智能芯片内部采用执行阶段对应的并行策略，执行执行阶段内各算子对应的运算，且在执行阶段运算完成后，基于下一执行阶段对应的并行策略，将每一人工智能芯片在执行阶段的运算结果中的部分或者全部直写入目标人工智能芯片对应的内存资源中，目标人工智能芯片包括每一人工智能芯片自身或者全部人工智能芯片；在各执行阶段均完成计算后，基于各人工智能芯片的最终运算结果得到目标算子流的运算结果。采用本方法能够降低大模型的推理延迟，提高推理效率。