一种多模型协同蒸馏与动态微调模型的训练方法及系统

AITNT
正文
推荐专利
一种多模型协同蒸馏与动态微调模型的训练方法及系统
申请号:CN202510033437
申请日期:2025-01-09
公开号:CN119443313B
公开日期:2025-04-29
类型:发明专利
摘要
本发明涉及计算机数据处理技术领域,具体涉及一种多模型协同蒸馏与动态微调模型的训练方法及系统;该方法包括,进行数据收集,未标注数据输入到模型制作为标注数据,并与已标注数据整合为一个数据集,再划分为训练集、验证集和测试集;训练集输入到模型中,提示词引导模型生成扩展数据,使用扩展训练集训练学生模型;学生模型在验证集上评估,评估结果表明学生模型评价指标未达到期望值,则错误信息输入模型进行分析和生成数据,再调整学生模型,直至学生模型的评价指标达到期望值;该方法优点为使用多个大语言模型进行协同蒸馏,训练数据更丰富多样化,学生模型更加准确,再通过循环动态微调学生模型,使得模型精准度更高以及适应性更强。
技术关键词
大语言模型 学生 训练集 多模型协同 动态 训练系统 蒸馏 数据处理模块 计算机数据处理技术 指标 生成答案 样本 模型训练模块 语言模块 文本 序列
系统为您推荐了相关专利信息
1
一种基于数字孪生的地下管网可靠性评估方法及系统
数字孪生模型 可靠性评估方法 数据驱动算法 定位故障位置 故障特征
2
感知设备与卫星安全通讯方法、系统、设备及存储介质
通讯方法 消息认证码 卫星通信协议 白盒密钥 密钥管理系统
3
一种基于自适应数据管理与隐私保护的大数据分析方法
数据分析方法 数据管理 数据存储架构 动态数据压缩 实时数据处理
4
一种基于分布式光纤声波传感系统的管道入侵事件识别方法
事件识别方法 卷积网络模型 卷积模块 管道 多尺度特征提取
5
一种用于冰粉市场营销的推广方法及系统
推广方法 多模态特征 纹理特征分类 配料 动态光学
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号