一种基于预训练模型的类增量学习方法、系统、设备及介质

AITNT
正文
推荐专利
一种基于预训练模型的类增量学习方法、系统、设备及介质
申请号:CN202411675135
申请日期:2024-11-21
公开号:CN119377777B
公开日期:2025-11-04
类型:发明专利
摘要
本发明公开了一种基于预训练模型的类增量学习方法、系统、设备及介质,包括以下步骤;步骤1:在第一阶段的类增量学习中,针对于第一个任务D1,通过提示性信息Prompt嵌入的方法来微调预训练模型ViT;得到微调后的预训练模型;步骤2:对于步骤1得到的微调预训练模型中的嵌入层函数和微调前的预训练模型ViT的嵌入层函数进行合并并且冻结,得到合并模型;步骤3:使用步骤2得到的合并模型从头进行类增量训练,最终得到具有强泛化性和稳健性的类增量模型;步骤4:对于测试样本,使用步骤3得到的类增量模型进行预测,计算最终的分类精度。本发明在保证模型自适应性的同时也保留了模型的泛化能力。
技术关键词
预训练模型 增量学习方法 注意力 分类器 原型 样本 图片 键值 可读存储介质 学习设备 学习系统 嵌入特征 代表 模块 超参数 计算机 处理器 分块 精度
系统为您推荐了相关专利信息
1
面向长文档的实体关系抽取方法
实体关系抽取方法 预训练语言模型 注意力 标识符 实体关系抽取系统
2
一种基于深度学习的胶囊内窥图像超分辨率重建方法
注意力机制 胶囊内窥镜设备 轻量化结构 多尺度感知损失 掩膜
3
一种基于点云描述符提取的车辆位置识别方法及系统
车辆位置识别方法 激光点云数据 预训练模型 车辆位置识别系统 关键帧
4
一种基于系统安全理论的渔船防碰撞预警方法及系统
防碰撞预警方法 渔船 皮尔逊相关系数 船只 船舶
5
多模态情感识别方法、装置、电子设备和存储介质
情感识别方法 音频特征 面部特征 注意力机制 多模态特征
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号