跨模态对齐模型的训练方法、跨模态数据匹配方法、装置、设备及介质

本申请公开了跨模态对齐模型的训练方法、跨模态数据匹配方法、装置、设备及介质，涉及多模态数据分析技术领域，跨模态对齐模型为基于编码器、解码器和判别器构建的用于对不同模态数据进行数据对齐的模型，包括：利用编码器将不同模态的原始数据映射至同一潜在空间以得到潜在表示；基于每两个潜在表示构建相关性对齐损失函数，计算每两个潜在表示之间的Wasserstein距离，以基于对抗学习方法利用判别器对Wasserstein距离进行优化；利用解码器将各潜在表示重构回原始模态并构建重构损失函数；利用基于相关性对齐损失函数、优化后Wasserstein距离和重构损失函数构建的总损失函数和对抗学习方法训练跨模态对齐模型。