一种基于枢轴语言语义映射的汉越语音翻译方法

本发明提出了基于枢轴语言语义映射的汉越语音翻译方法，属于语音翻译领域。在语音识别预训练阶段通过汉语语音识别任务训练得到语音编码器，将训练得到的语音编码器用作语音翻译模型的编码器，同时预训练得到的语音识别模型也可用于辅助模型推理。在文本翻译预训练阶段进行汉语到越南语与汉语到英语的文本翻译任务进行一对多的多任务训练，在此训练阶段使用对比损失约束文本翻译模型中编码器与语音编码器输出的一致性，以缓和在下一阶段训练过程中存在的模态差异问题。在第三个阶段的训练过程则在前两个预训练的基础上进行，在第一阶段训练得到的编码器与第二阶段训练得到的解码器的基础上进行语音翻译任务的微调。