结合预训练语言模型的跨模态非自回归解码方法及系统

结合预训练语言模型的跨模态非自回归解码方法及系统，涉及跨模态翻译。解码系统依次包括目标排列采样、预训练文本编码、预训练文本解码、预训练损失计算、源端特征提取、下游编码、CTC增强、下游解码、下游任务损失计算、输出等模块。解码方法：采样预训练训练样本以及目标排列；将源端文本编码为隐向量；目标端文本解码；预训练阶段损失计算；初始化下游跨模态非自回归翻译模型的参数；源端特征提取；源端特征编码；下游解码模块输入生成；解码模块生成翻译结果；计算下游跨模态非自回归翻译模型损失；下游跨模态非自回归翻译结果输出。利用Random Drop以及CTC，缓解预训练和微调阶段解码器输入的模态差异。