摘要
本发明提供了一种用于多语言机器翻译的知识迁移方法,可以应用于自然语言处理和大语言模型技术领域。该方法包括:对教师模型中与多语言机器翻译任务相关的关联神经元进行语言感知度评估,得到语言感知度得分集;根据语言感知度得分集将教师模型中的关联神经元分类为语言通用神经元和语言特定神经元,并基于分类结果从教师模型的权重矩阵中提取权重子矩阵;基于特定语言的机器翻译任务,利用权重子矩阵对学生模型中的共享低秩适应模块和多个语言特定低秩适应模块进行选择性的参数更新进而完成从教师模型到学生模型的知识迁移。本发明提供的方法能够解决参数干扰、知识遗忘、知识迁移效率不足、语言感知信息利用不充分等技术问题。
技术关键词
参数提取方法
机器翻译
微调机制
知识迁移方法
教师
多语言
矩阵
度量
模块
学生
语言模型技术
索引
模型压缩
树形结构
自然语言
分析方法
分类器
探针
系统为您推荐了相关专利信息
电力设备故障
问答方法
分支
智能电网运维
大语言模型
水质预测方法
水质预测系统
学生
轻量级神经网络
多源监测数据
标定优化方法
数据压缩
集中器
深度神经网络结构
特征融合网络