针对多模态数据的融合表示模型的训练方法及装置

本说明书实施例提供针对多模态数据的融合表示模型的训练方法及装置，其中所述方法包括：确定目标数据的文本词嵌入和非文本嵌入，并将文本词嵌入和非文本嵌入输入至预训练模型；通过第一编码器对基于文本词嵌入和非文本嵌入生成第一对齐嵌入和文本句子嵌入，通过第二编码器对基于第一对齐嵌入和文本句子嵌入，生成第二对齐嵌入和文本片段嵌入；根据第一对齐嵌入和文本句子嵌入生成句子正负样本对，根据第二对齐嵌入和文本片段嵌入生成片段正负样本对；通过句子正负样本对和片段正负样本对执行针对预训练模型的融合表示训练任务，获得融合表示模型。使得融合表示模型具备输入融合非文本模态信息的统一表示的能力，增强数据表征的可解释性。