一种基于混合专家和代码转换数据的跨语言迁移方法

AITNT
正文
推荐专利
一种基于混合专家和代码转换数据的跨语言迁移方法
申请号:CN202510380429
申请日期:2025-03-28
公开号:CN120296420A
公开日期:2025-07-11
类型:发明专利
摘要
本发明提出了一种基于混合专家和代码转换数据的跨语言迁移方法,包括以下步骤:步骤1,基于数据蒸馏方法进行代码转换数据合成,得到代码转换数据集;步骤2,构建混合专家模型;步骤3,使用步骤1中获得的代码转换数据集,训练步骤2中构建的混合专家模型,得到训练好的混合专家模型;步骤4,使用训练好的混合专家模型,实现跨语言迁移。本发明混合专家结构,能够在代码转换数据训练过程中,保证英文能力的不变,这能够进一步激发代码转换数据的跨语言增强效果;本发明能够无限制的应用在所有开源大模型上,并且能够从英文跨语言迁移能力到任何语言上,从而有效提升模型的多语言能力。
技术关键词
代码转换 迁移方法 前馈神经网络 训练语言模型 数据 蒸馏方法 模块 路由器 学生 注意力机制 矩阵 代表 非线性 模版 教师 指令 参数 文本 样本
系统为您推荐了相关专利信息
1
基于物联网的分布式智能滴灌控制系统
滴灌控制系统 分布式智能 滴灌系统 水肥 作物生长模型
2
多模态产业数据的智能清洗与特征提取系统及方法
特征提取系统 高频特征 对齐模块 故障传播路径 旋转设备
3
基于大语言模型的电动汽车行业政策文件解读方法和装置
大语言模型 解读方法 文本 模型更新 模板
4
一种多元新能源接入的配电网综合规划方法、系统和设备
负荷特征 历史负荷数据 深度神经网络训练 储能技术 平滑度
5
魅力评价模型的训练方法、魅力评价方法及相关装置
编码器 文本 评价方法 图像 计算机可执行指令
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号