摘要
本发明公开了一种基于重要参数约束的连续学习的图像分类方法,属于图像处理领域。本发明发现在极高维度的参数空间中,即使约束LoRA模块正交,也可能导致次优解,从而使得模型无法完全缓解遗忘问题。在本发明中,(1)发现即使在正交LoRA约束条件下,对历史任务损失敏感的模型参数在各个任务上仍会发生显著变化;(2)根据模型参数对损失的敏感程度定义了对当前任务中各个可训练的模型参数的重要性;(3)基于模型参数的重要性,提出一种重要参数约束方法,该方法通过约束当前任务模型的参数在后续任务中不发生改变,进而有效缓解了模型对当前任务知识的遗忘。实验证明,本发明提出的方法在多个连续学习数据集上均展现出优异的性能。
技术关键词
图像分类方法
特征提取网络
线性分类器
样本
原型
真实图像数据
分类器参数
约束方法
特征提取器
矩阵
均值算法
预训练模型
图像嵌入
模块
学习器
标签
系统为您推荐了相关专利信息
图像生成方法
训练样本图像
网络
电子设备
图像生成装置
水情数据
水情监测方法
水情监测系统
曲线
LSTM模型