一种基于混沌融合和因果对齐注意力的多模态机器翻译系统

本申请公开了一种基于混沌融合和因果对齐注意力的多模态机器翻译系统，涉及神经机器翻译领域。多模态机器翻译系统搭载在服务器上，其中，多模态输入编码模块用于获取视频和文本输入，并将文本序列和视频分别编码为结构化的模态表示，输出多模态特征表示，包括文本、视频和关键帧模态表示；多模态混沌融合模块用于对多模态特征表示进行多尺度语义对齐、混沌融合以及全局模态自适应权衡，生成融合特征表示；因果对齐时空注意力模块用于根据多模态特征表示和融合特征表示生成空间感知表示，并基于空间感知表示生成目标文本序列；因此能够更高效地整合文本、视频和关键帧等多源信息，实现更精准的语义消歧与上下文感知，提高翻译效率和译文质量。