一种多源异构数据对齐方法及装置

本公开提出一种多源异构数据对齐方法及装置，涉及数据处理技术领域。其中，方法包括：利用共享编码器将文本特征与第一模态特征编码到相同模态子空间中；通过预先训练的第一Transformer模块，通过多头注意力机制得到文本交叉特征和第一模态交叉特征；通过预先训练的第一对比学习模块将文本交叉特征和第一模态交叉特征映射至向量空间进行特征对齐。本公开利用包含多头自注意力的Transformer模块对文本数据和第一模态数据进行处理，实现第一模态数据与文本数据间的跨模态粗对齐，利用对比学习方法实现跨模态数据之间的细粒度对齐，能够实现多源异构数据的精准语义对齐，为后续多模态数据融合奠定良好基础，提高多模态融合决策的决策能力。