一种基于模态调和的多模态模型训练方法及装置

本发明提出一种基于模态调和的多模态模型训练方法和装置，包括：获取已标注类别标签的多模态数据，并将其转化为符合模型结构输入的指定形式，得到训练数据。构建包括多个学习器的多模态模型，每个学习器对应一种模态，用于提取对应模态数据的特征，根据各学习器提取的特征进行分类，通过分类结果和该类别标签构建损失函数，依次交替训练每一个模态的学习器，以完成对该多模态模型的训练；将待分类多模态数据输入训练完成后的多模态模型，得到每个学习器的输出特征，融合所有该输出特征，得到该待分类多模态数据的分类结果。