摘要
本发明涉及一种迭代增强的动态扩展持续学习模型,训练方法包括:构建包含T个目标任务的任务序列作为训练数据;利用训练数据对预训练的VisionTransformer模型进行训练,利用门控网络将多个微调模块嵌入到预训练的VisionTransformer模型中,为各微调模块配置权重;在训练时,配置用于学习任务Dt的模块得到可塑模型在训练过程中,冻结VisionTransformer模型用于特征提取,训练模块用于学习任务Dt的知识;在完成训练后,从训练数据中采样固定数量的样本集,并将其添加到所维持的样本缓冲区中;构建稳定模型当t≠1时,通过知识蒸馏将可塑模型中模块的新知识和模块的旧知识一并迁移到稳定模型的模块中。本发明能解决现有持续学习方法中出现的遗忘问题。
技术关键词
蒸馏
持续学习方法
矩阵
样本
预训练模型
数据
动态
计算机程序产品
处理器
模块结构
注意力
旁路
网络
序列
电子设备
指令
参数
存储器
系统为您推荐了相关专利信息
低代码平台
风险预测模型
升级方法
实时日志
性能指标数据
学习方法
编辑距离算法
语句
表达式
句法依存关系
机器人自主导航
果园环境
作业方法
三维环境地图
节点