摘要
本申请涉及人工智能技术领域,公开了一种多模态大模型分层自适应冻结微调方法及装置,具体公开了:根据全量数据集子集对预训练多模态大模型进行训练,获得领域专家模型;将领域专家模型划分为多个结构层,对于每个结构层按照贡献度分配全局解冻参数配额;在每个结构层中,对各参数进行自适应重要性排序,并按照重要性排序顺序筛选出与对应的全局解冻参数配额数量一致的参数生成二进制掩码,其他参数冻结。最后根据二进制掩码对领域专家模型进行稀疏化训练。该方法克服了传统数据回放对旧任务数据或生成伪数据的依赖,且无需预设任务边界或人工干预,在保护预训练模型泛化能力的同时,实现高效、轻量化且隐私安全的持续学习。
技术关键词
微调方法
配额
多模态
分层
参数更新模块
可读存储介质
预训练模型
人工智能技术
微调装置
处理器
数据
存储器
计算机
电子设备
标记
程序
系统为您推荐了相关专利信息
自然语言
约束优化算法
多模态数据采集
分析器
参数
微网优化调度方法
电解槽
氢气
构建系统模型
氢燃料电池
合金粉末材料
低成本高强度
铝合金构件
激光
三维建模软件