多模态大模型分层自适应冻结微调方法及装置

AITNT
正文
推荐专利
多模态大模型分层自适应冻结微调方法及装置
申请号:CN202510877655
申请日期:2025-06-27
公开号:CN120781879A
公开日期:2025-10-14
类型:发明专利
摘要
本申请涉及人工智能技术领域,公开了一种多模态大模型分层自适应冻结微调方法及装置,具体公开了:根据全量数据集子集对预训练多模态大模型进行训练,获得领域专家模型;将领域专家模型划分为多个结构层,对于每个结构层按照贡献度分配全局解冻参数配额;在每个结构层中,对各参数进行自适应重要性排序,并按照重要性排序顺序筛选出与对应的全局解冻参数配额数量一致的参数生成二进制掩码,其他参数冻结。最后根据二进制掩码对领域专家模型进行稀疏化训练。该方法克服了传统数据回放对旧任务数据或生成伪数据的依赖,且无需预设任务边界或人工干预,在保护预训练模型泛化能力的同时,实现高效、轻量化且隐私安全的持续学习。
技术关键词
微调方法 配额 多模态 分层 参数更新模块 可读存储介质 预训练模型 人工智能技术 微调装置 处理器 数据 存储器 计算机 电子设备 标记 程序
系统为您推荐了相关专利信息
1
一种铜排松动识别方法、装置、设备及介质
铜排 电池系统 识别方法 电压 电池管理技术
2
一种基于多模态大模型的自然语言能力搭建自动化流程的方法
自然语言 约束优化算法 多模态数据采集 分析器 参数
3
基于清洁氢约束的氢基社区微网优化调度方法
微网优化调度方法 电解槽 氢气 构建系统模型 氢燃料电池
4
一种工程机械异构件的无损测试装置及检测方法
无损检测方法 人工缺陷 测试样品 工程机械 数据
5
一种3D打印用低成本高强度Al-Cu合金粉末材料及其应用
合金粉末材料 低成本高强度 铝合金构件 激光 三维建模软件
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号