融合图像信息的多模态蒙汉神经机器翻译方法

发明提出了一种融合图像信息的多模态蒙汉神经机器翻译方法，训练得到一个蒙古语文本生成图像模型，输入源句子到蒙古语文本生成图像模型中生成对应的语义图像，在翻译过程中，将源句子输入编码器得到源句子的表示形式HL，并使用注意力机制将图像表示融合到源句子得到源表示将源表示输入到解码器以计算得到解码器用于预测目标翻译的依赖时间上下文向量，最终输出汉语文本。本发明融合图像信息来构建基于多模态的编码器‑解码器框架，结合有蒙语描述的句子‑图像对，能够更好地利用图像信息和句子的语义信息，有效提高蒙汉神经机器翻译的译文流利度和翻译质量。