多模态分类模型的训练方法、分类方法及多模态分类模型

本申请公开了多模态分类模型的训练方法、分类方法以及多模态分类模型，其训练方法实现，包括：分别对第一图像样本、第二图像样本、第一健康相关样本以及第二健康相关样本进行特征提取；对提取到的第一图像特征以及第一健康相关特征进行对应多粒度对比学习以及个性共性表示学习，得到对比学习损失以及个性共性表示学习损失，以对多模态分类模型进行迭代更新；对提取到的第二图像特征以及第二健康相关特征进行个性共性表示学习，以得到个性表示以及共性表示；对其进行加权后拼接，得到拼接特征，对拼接特征进行分类处理，得到分类损失，以对多模态分类模型再次进行迭代更新。采用两阶段训练策略，提升模型对复杂多模态数据的适应性以及分类准确性。