基于数据并行与模型并行的神经网络整合训练方法及系统

本发明公开了基于数据并行与模型并行的神经网络整合训练方法及系统，方法包括：在若干训练单元上分别部署目标神经网络的卷积神经网络结构和全连接层分割结构；按数据并行的方式完成各卷积神经网络结构的计算，按模型并行的方式完成各全连接层分割结构的计算；合并各全连接层分割结构的输出，得到训练预测值；利用训练预测值，通过改进的Softmax方法计算各全连接层分割结构的损失函数和反向传播梯度，并将反向传播梯度同步更新至各卷积神经网络结构；重复上述步骤，完成目标神经网络的训练。本发明能够在保证高效性的同时，显著降低显存消耗，减少通信开销，优化计算负载的分配，提供更强的扩展性，为大规模神经网络的训练提供更加高效、可靠的解决方案。