模型推理方法、装置、设备、计算机可读存储介质及产品

本申请提供一种模型推理方法、装置、设备、计算机可读存储介质及产品，该方法包括：确定第一模型的N个模型主干和N个模型分支；其中，N为大于或者等于2的整数；通过推理单元对每个模型主干分别进行推理，并通过中央处理单元对每个模型分支分别进行推理及后处理；其中，第i个模型主干的推理与第i‑1个模型分支的推理并行进行；i为大于或者等于2的整数；本申请实施例将第一模型的所有节点拆分为多个模型主干和多个模型分支，模型主干的推理和模型分支的推理分别在推理单元和中央处理单元并行运行，提高了模型推理的并行度，从而实现了更快的推理速度、更低的延迟以及更好的用户体验。