用于多模态融合的数据对齐处理方法及装置

本说明书实施例提供用于多模态融合的数据对齐处理方法及装置，其中方法包括：采集图像数据，确定图像数据对应的文本数据；将图像数据通过图像编码器确定图像高维特征，以及将文本数据通过文本编码器确定文本高维特征；将文本高维特征和图像高维特征输入特征对齐模块，确定文本对齐特征和图像对齐特征；将图像对齐特征输入文本解码器，以及将文本对齐特征输入图像编码器，对解码器进行特征修正，生成目标图像和目标文本，可以实现在图像文本相互生成中，生成相似度高的样本也能促进两个模态的数据对齐，提高多模态特征融合的充分程度。