摘要
本发明公开了一种基于各向异平坦性的深度神经网络持续学习方法及相关装置,方法包括,获取对自然图像待分类的序列任务;深度神经网络在对自然图像待分类的序列任务上依次进行学习,当深度神经网络在第t‑1个任务上学习结束后,更新深度神经网络各层特征的方差;对更新后的神经网络各层特征的方差进行奇异值分解,得到奇异向量和奇异值;基于奇异向量和奇异值,确定可缓解遗忘的训练策略;基于可缓解灾难性遗忘的训练策略,实现深度神经网络在第t个任务上的持续学习,并实现第t个任务的图像分类。本发明中使得深度神经网络在新任务上学习后,在历史任务上的损失函数值保持不变,可以有效地缓解灾难性遗忘现象,提升持续学习地效果。
技术关键词
深度神经网络
持续学习方法
策略
图像
矩阵
序列
可读存储介质
曲面
学习系统
处理器
模块
存储器
计算机
元素
电子设备
数据
系统为您推荐了相关专利信息
语义分割模型
语义分割方法
语义分割系统
样本
网络
代码库
提纯方法
数据收集模块
无监督
注意力编码器
压缩感知数据
稀疏字典
油气勘探开发技术
地震数据重建
字典学习算法