一种深度神经网络参数优化器、更新方法及存储介质

本发明公开了一种深度神经网络参数优化器、更新方法及存储介质，涉及人工智能领域，用于提升深度神经网络模型优化效率和有效性。本发明在每个时间步更新网络参数时，基于当前时间步下目标函数的梯度与当前时间步的一阶矩向量之间的差异来更新当前时间步的学习率；利用当前时间步更新的学习率，以及当前时间步校正后的一阶矩向量和校正后的二阶矩向量，计算在当前时间步深度神经网络参数的更新量；利用该更新量对上一时间步深度神经网络参数进行更新。本发明对学习率的调整与模型实际优化过程保持一致，充分考虑了模型的实际更新方向，优化过程考虑了短期和长期梯度差异，从而在避免超出最优解的同时实现更快的收敛。