面向特定领域多模态神经机器翻译的两阶段语义聚合方法

本发明涉及面向特定领域多模态神经机器翻译的两阶段语义聚合方法，属于自然语言处理技术领域。本发明包括：获取文本和视觉的嵌入表征；将文本嵌入表示送入传统的Transformer模型进行第一阶段,整体学习通用语义的表示与翻译能力以奠定基础；采用对比解耦策略与多层次协同解码机制进行第二阶段增量学习,专注于学习领域特定的表征与翻译能力；将第一阶段和第二阶段的文本表征通过双阶段表征平和优化策略进行一致性约束；将KL散度与传统的交叉熵损失联合作为最终的训练目标。本发明解决了由于领域术语专业性强、出现频率低且分布稀疏造成的领域图文信息在领域特定特征方面表现出的细粒度不平衡问题。