摘要
本发明涉及机器翻译技术领域,尤其涉及一种基于参数剪枝调优的机器翻译模型训练方法和系统。具体包括:获取增量数据集、机器翻译原模型和伪目标语种数据集;获取微调数据集,使用增量数据集构建增量模型;构建剪枝模型,包括评价机器翻译原模型和增量模型的FFN层中的各个参数的重要性,将增量模型的FFN层中对于增量语种翻译不重要且对原语种翻译重要的参数替换为原模型FFN层中对应的参数;构建四元组微调数据集;使用四元组微调数据集采用优化后的CPO算法微调剪枝模型的FFN层,得到经过参数剪枝调优之后的新模型。本发明的训练方法既能具备学习新的翻译方向的能力,同时能有效保留原翻译方向的翻译性能,具备良好的持续性学习能力。
技术关键词
机器翻译模型
剪枝模型
数据
参数
语句
前馈神经网络
机器翻译技术
位置编码器
算法
线性
模块
训练系统
注意力
分词
工具包
文本
解码器
系统为您推荐了相关专利信息
地面控制系统
无人机
激光SLAM算法
氧气管
智能调节阀门
图像生成方法
数模转换器
生成电路
计数器
识别方法
功能模块
接口
软件系统日志
智能交互界面
平台软件系统
无线传输模组
电池安全装置
高精度定位平台
集成故障
微处理器