摘要
本公开提供一种用于跨语言迁移的渐进式语码转换方法,包括:设计了一个难度测量器来测量每个单词替换对句子的影响,然后基于可控的温度变量生成难度逐渐增加的语码转换数据,最后通过训练调度器决定何时采样更难的语码转换数据进行模型训练;本发明克服了现有技术中语码转换容易导致原始上下文信息的丢失以及导致表征跨语言对齐不足和数据变化有限,限制模型跨语言学习和迁移知识的能力的缺点,实现语码转换数据的有效利用和模型泛化。
技术关键词
转换方法
训练器
调度器
转换器
数据
代码转换
非线性
自然语言
展开式
稳定器
测量器
变量
注意力
编码器
矩阵
算法
序列
阶段
框架