一种跨域多模态数据自动关联映射与融合识别方法

本发明公开了一种跨域多模态数据自动关联映射与融合识别方法，包括：S1：初始化两个编码器网络和两个解码器网络；S2：构建跨域多模态数据集，并从数据集中随机采样一批次样本；S3：通过编码器网络提取所有样本在潜空间中的表示；S4：通过对比学习损失函数计算潜空间中的表示的损失函数；S5：将潜空间中的表示拼接，并分别使用两个解码器网络进行解码；S6：通过解码后的样本与输入样本，计算重构损失函数；S7：将重构的损失函数求和后反向传播，更新网络参数，直至模型收敛；S8：将跨域多模态数据输入到训练好的模型中，得到输出结果。本发明保持了模态的原有信息，提高了模型识别的准确性。