一种神经网络训练优化方法

本发明公开了一种神经网络训练优化方法，包括步骤1：获取待优化神经网络的超参数，并初始化超参数；步骤2：根据损失函数计算第t次迭代的梯度；步骤3：计算梯度的一阶矩，并对其进行中心化；步骤4：利用当前梯度和中心化后的一阶矩计算残差二阶矩，并计算中心化一阶矩估计和残差二阶矩估计；步骤5：计算学习率的变化幅度；步骤6：计算学习率的变化范围；步骤7：在步骤6得到的变化范围内，调整学习率并更新参数；步骤8：重复执行步骤2‑步骤7，直至达到训练终止条件。本发明能够在保证高效简单的同时，极大地提升深度模型的训练收敛速度和泛化能力，对于提高各类人工智能系统的整体性能具有重要应用价值。