基于多模态交互的翻译方法和系统

本发明涉及机器翻译技术领域，具体为基于多模态交互的翻译方法和系统，一方面，当存在文本模态时，根据是否存在文本模态的音频模态来分别执行不同的操作；其中，当存在音频模态时，将音频模态翻译为文本向量后与文本模态对应向量进行融合；当不存在音频模态时，将文本模态进行初步翻译后再与文本模态对应向量进行拼接，并进行时序语义分析；另一方面，当不存在文本模态时，将音频模态或/和图像模态翻译为文本向量；最后，将上述特征提取得到的音频文本融合特征向量、或文本时序特征向量、或第二音频仿文本向量、或图像仿文本向量、或融合仿文本向量通过机器翻译处理，得到更为准确的翻译结果，实现机器翻译的全面性、灵活性、适应性和准确性。