基于神经网络模型的推理、模型训练方法及计算设备集群

本申请实施方式提供了一种基于神经网络模型的推理方法、神经网络模型训练方法及计算设备集群，该神经网络模型包括N层网络层以及各网络层对应的路由单元，各网络层包括多个分支结构，各分支结构具有对应的处理功能和处理参数。该推理方法包括：确定初始输入信息，将初始输入信息输入至神经网络模型，由神经网络模型包括的各路由单元依次根据输入各路由单元的目标输入信息，确定对应网络层中的至少一个目标分支结构，并由目标分支结构根据目标分支结构对应的处理功能和处理参数，对目标输入信息进行推理处理，得到对应输出信息。如此，在进行推理时，可以只选择网络层中的部分分支结构参与推理，可显著减少运算量，降低资源消耗，提升推理效率。