知识蒸馏方法、装置、设备和介质

AITNT
正文
推荐专利
知识蒸馏方法、装置、设备和介质
申请号:CN202410825002
申请日期:2024-06-25
公开号:CN118690759A
公开日期:2024-09-24
类型:发明专利
摘要
本申请提供了一种知识蒸馏方法、装置、设备和介质,其中方法包括:获取训练原文文本以及训练原文文本对应的标准译文文本;将训练原文文本分别输入教师翻译模型和学生翻译模型,得到教师翻译模型输出的教师分布和学生翻译模型输出的学生分布;根据标准译文文本和训练原文文本,得到标准译文分布;根据教师分布、学生分布和标准译文分布,对学生翻译模型进行迭代训练,得到目标机器翻译模型。本申请可以将教师翻译模型的知识有效地转移到学生翻译模型中,使得学生翻译模型可以获得与教师翻译模型相当的翻译性能。
技术关键词
机器翻译模型 分词 知识蒸馏方法 学生 文本 教师 存储计算机程序 序列 电子设备 计算机程序产品 蒸馏装置 存储器 误差 可读存储介质 模块 处理器
系统为您推荐了相关专利信息
1
审计代码生成模型训练方法、装置及相关设备
模型训练方法 样本 模板 数据 自然语言文本
2
一种基于CLIP的低光图像增强方法、系统、终端设备及介质
图像增强网络 图像增强方法 图像编码器 图像增强程序 训练集
3
一种智慧教学管理方法、装置及电子设备
智慧教学管理方法 个性化教学 注意力 教学管理装置 学生学习状态
4
对话文本生成方法及相关装置
文本生成方法 渠道 计算机可执行指令 文本生成设备 编码特征
5
基于异构数据源同步的企业管理系统
企业管理系统 异构 数据格式 皮尔逊相关系数 认证令牌
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号