一种基于参数剪枝调优的机器翻译模型训练方法和系统

AITNT
正文
推荐专利
一种基于参数剪枝调优的机器翻译模型训练方法和系统
申请号:CN202410963942
申请日期:2024-07-18
公开号:CN118504642B
公开日期:2024-12-31
类型:发明专利
摘要
本发明涉及机器翻译技术领域,尤其涉及一种基于参数剪枝调优的机器翻译模型训练方法和系统。具体包括:获取增量数据集、机器翻译原模型和伪目标语种数据集;获取微调数据集,使用增量数据集构建增量模型;构建剪枝模型,包括评价机器翻译原模型和增量模型的FFN层中的各个参数的重要性,将增量模型的FFN层中对于增量语种翻译不重要且对原语种翻译重要的参数替换为原模型FFN层中对应的参数;构建四元组微调数据集;使用四元组微调数据集采用优化后的CPO算法微调剪枝模型的FFN层,得到经过参数剪枝调优之后的新模型。本发明的训练方法既能具备学习新的翻译方向的能力,同时能有效保留原翻译方向的翻译性能,具备良好的持续性学习能力。
技术关键词
机器翻译模型 剪枝模型 数据 参数 语句 前馈神经网络 机器翻译技术 位置编码器 算法 线性 模块 训练系统 注意力 分词 工具包 文本 解码器
系统为您推荐了相关专利信息
1
一种井下密闭启封预防低氧窒息及有害气体的方法
地面控制系统 无人机 激光SLAM算法 氧气管 智能调节阀门
2
PRPD图像的生成电路、方法及局部放电类型的识别方法
图像生成方法 数模转换器 生成电路 计数器 识别方法
3
大行动模型驱动的大规模个性化制造流程自组织系统及方法
功能模块 接口 软件系统日志 智能交互界面 平台软件系统
4
一种基于动态适配器的大语言模型增强方法及系统
适配器 切换算法 网络 大语言模型 令牌
5
一种集成故障预警、定位与替换识别的电池安全装置
无线传输模组 电池安全装置 高精度定位平台 集成故障 微处理器
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号