一种迭代增强的动态扩展持续学习模型

AITNT
正文
推荐专利
一种迭代增强的动态扩展持续学习模型
申请号:CN202510179276
申请日期:2025-02-18
公开号:CN120123765A
公开日期:2025-06-10
类型:发明专利
摘要
本发明涉及一种迭代增强的动态扩展持续学习模型,训练方法包括:构建包含T个目标任务的任务序列作为训练数据;利用训练数据对预训练的VisionTransformer模型进行训练,利用门控网络将多个微调模块嵌入到预训练的VisionTransformer模型中,为各微调模块配置权重;在训练时,配置用于学习任务Dt的模块得到可塑模型在训练过程中,冻结VisionTransformer模型用于特征提取,训练模块用于学习任务Dt的知识;在完成训练后,从训练数据中采样固定数量的样本集,并将其添加到所维持的样本缓冲区中;构建稳定模型当t≠1时,通过知识蒸馏将可塑模型中模块的新知识和模块的旧知识一并迁移到稳定模型的模块中。本发明能解决现有持续学习方法中出现的遗忘问题。
技术关键词
蒸馏 持续学习方法 矩阵 样本 预训练模型 数据 动态 计算机程序产品 处理器 模块结构 注意力 旁路 网络 序列 电子设备 指令 参数 存储器
系统为您推荐了相关专利信息
1
基于低代码平台的应用升级方法、系统、设备及存储介质
低代码平台 风险预测模型 升级方法 实时日志 性能指标数据
2
基于拉格朗日物理神经网络的髋关节运动轨迹预测方法
拉格朗日 髋关节 运动轨迹预测方法 物理 参数
3
一种基于句法相似的自适应上下文学习方法
学习方法 编辑距离算法 语句 表达式 句法依存关系
4
基于动态构建提示词的电子档案检索方法、设备及介质
信息抽取模型 语句 检索方法 预训练模型 电子
5
一种果园环境中机器人自主导航作业方法
机器人自主导航 果园环境 作业方法 三维环境地图 节点
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号