一种基于增量蒸馏和正则化语义一致性的多模态神经机器翻译方法

本发明涉及一种基于增量蒸馏和正则化语义一致性的多模态神经机器翻译方法，属于自然语言处理技术领域。本发明包括：对文本和图像进行编码得到文本特征和图像特征；将图像特征进行部分掩码；将图像和掩码图像表征分别和文本表征进行混合，实现跨模态融合；将文本特征送入冻结参数的多层Transformer模块进行表征；进行跨模态聚合增强，增加跨模态特征的互补性；进行局部点对齐蒸馏，将预训练纯文本模型的先验知识蒸馏到多模态模型中；构建正则化语义对齐模块，进一步捕捉更全面的视觉‑文本对齐细节，实现语义一致性约束。本发明解决多模态数据对稀缺，以及从头训练多模态模型导致的计算资源利用低效和跨模态对齐不准的问题。