一种有效跨模态表征对齐与融合语音翻译方法

本发明涉及一种有效跨模态表征对齐与融合语音翻译方法，属于语音翻译技术领域。本发明包括步骤：构建包括文本嵌入模块、翻译编码器、翻译解码器的文本翻译预训练模块；通过文本嵌入模块将源语言和目标语言的文本输入投影到高维空间；通过翻译编码器得到文本表征；通过翻译解码器将文本表征进行解码；构建语音编码器模块，提取语音的语义表征，再使用动态加权长度适配器提取最终的语音表征；构建表征融合模块，将语音表征和文本表征进行融合，在语音表征和文本表征融合的基础上使用自注意力模块使得模型能够关注更加关键的信息；最小化目标语言的翻译损失，完成语音翻译模型的预训练，用训练好的模型进行语音翻译。本发明提升了语音翻译性能。