摘要
本发明公开了一种基于梯度信息的元学习内层快速更新策略算法,其根据梯度信息动态调整更新步长,提高模型在新任务上的适应速度和性能。算法首先获取初始模型参数在当前任务上的初始梯度,根据此梯度信息生成扰动参数,并重新计算损失获得新梯度,然后根据两次梯度计算梯度差异以表征损失函数局部曲率,最后根据梯度差异动态调整更新步长,完成内层快速更新。此外,该算法还可以与MAML、FOMAML或Reptile框架结合,替换原有的固定步长更新策略,以进一步提高元学习的性能。该发明对于大规模多任务学习和元学习任务具有重要价值。
技术关键词
算法
策略
多任务
正交化方法
滑动平均值
更新模型参数
动态
框架
因子
机制
阶段
频率
基础
速度