摘要
本发明公开了一种基于预训练模型的类增量学习方法、系统、设备及介质,包括以下步骤;步骤1:在第一阶段的类增量学习中,针对于第一个任务D1,通过提示性信息Prompt嵌入的方法来微调预训练模型ViT;得到微调后的预训练模型;步骤2:对于步骤1得到的微调预训练模型中的嵌入层函数和微调前的预训练模型ViT的嵌入层函数进行合并并且冻结,得到合并模型;步骤3:使用步骤2得到的合并模型从头进行类增量训练,最终得到具有强泛化性和稳健性的类增量模型;步骤4:对于测试样本,使用步骤3得到的类增量模型进行预测,计算最终的分类精度。本发明在保证模型自适应性的同时也保留了模型的泛化能力。
技术关键词
预训练模型
增量学习方法
注意力
分类器
原型
样本
图片
键值
可读存储介质
学习设备
学习系统
嵌入特征
代表
模块
超参数
计算机
处理器
分块
精度
系统为您推荐了相关专利信息
实体关系抽取方法
预训练语言模型
注意力
标识符
实体关系抽取系统
注意力机制
胶囊内窥镜设备
轻量化结构
多尺度感知损失
掩膜
车辆位置识别方法
激光点云数据
预训练模型
车辆位置识别系统
关键帧
情感识别方法
音频特征
面部特征
注意力机制
多模态特征