基于符号梯度的自适应优化快速收敛方法

本申请涉及机器学习与无约束优化技术领域，公开了一种基于符号梯度的自适应优化快速收敛方法。该方法针对确定性优化场景，根据自适应符号梯度下降算法优化目标函数；针对随机性优化场景，根据自适应符号随机梯度下降算法优化目标函数。其中，自适应符号梯度下降算法和自适应符号随机梯度下降算法均采用当前目标函数值与初始目标函数值的距离以及预设的关键超参数，在每一个迭代中对步长进行更新。该算法自适应步长的更新不依赖梯度及其范数的相关信息，有效减少了节点间的通信开销。且自适应符号随机梯度下降算法允许梯度的随机估计为真实梯度的有偏估计，保证了良好的收敛性能。