一种基于不动点迭代的序列化模型并行训练方法

本发明公开了一种基于不动点迭代的序列化模型并行训练方法，其特点是采用不动点迭代和Prefix Sums算法，实现线性或非线性序列模型的并行化训练，具体包括：不动点递推公式、并行算法前行传播和梯度反向传播等步骤，所述不动点迭代采用基于不动点得到模型迭代的不动点递推公式，根据序列模型的一般形式，得到线性的递推模型；所述并行前缀和算法采用自适应的并行Prefix Sums算法，自动选择最优的超参数配置，通过反向传播更新模型参数。本发明与现有技术相比具有提高序列化模型训练的效率，不要求模型是线性的，使得系统可以适配更多模型，有效解决了RNN和Neural ODE等序列模型的训练效率受限于时间步之间的顺序依赖性问题，为序列模型的高效训练和应用提供了新的方法。