一种基于局部梯度信息的高效优化方法

本发明提供了一种基于局部梯度信息的高效优化方法，涉及梯度优化技术领域，本发明利用了梯度平方的指数移动平均，添加了参数梯度的梯度差值，在参数迭代过程中利用梯度差值作非线性变换后的系数，对参数的每一步步长进行调整，使得梯度变化快的参数更新步长更大，梯度变化慢的参数更新步长更小，同时对Momentum动量进行了省去，有效减少了局部最优解附近的垂直波动，加快了收敛速度，提升了算法精度。同时针对所提出的算法，本发明进行了DFGD算法的参数更新步长上界和收敛性证明，以保证算法的理论严谨性和完备性。