多模态识别模型训练方法、多模态数据识别方法及相关设备

本申请实施例提出的多模态识别模型训练方法、多模态数据识别方法及相关设备，方法包括：获取多条多模态训练样本对；基于多模态识别模型中的多粒度输出模型，将每条多模态训练样本对进行第一特征提取和第二特征提取，得到对应处理粒度不同的第一特征数据和第二特征数据，将每个第一特征数据和对应的第二特征数据进行混合处理，得到多粒度混合输出；基于多模态识别模型中的特征级混合模型，将每条多模态训练样本对进行特征级混合处理，得到每条多模态训练样本对应的特征级混合输出；基于多粒度混合输出和特征级混合输出计算得到多模态损失，并基于多模态损失对多模态识别模型进行更新，有效地提高多模态数据的识别精准性。