一种基于模态和策略互补性的半监督多模态分类方法

本公开提供一种基于模态和策略互补性的半监督多模态分类方法，包括：模态互补学习模块和策略互补学习模块；对于输入的图像‑文本对数据，首先通过模态互补学习模块，分别应用文本和图像的编码器，采用两个softmax函数的MLP模型获取概率p，分别对文本或图像数据进行单模态预测；之后基于提取的特征或单模态预测结果，得到加权分数融合方法的结果和特征拼接的结果；并采用所述加权分数融合的结果和所述特征拼接结果输入所述策略互补学习模块，构成半监督多模态分类的基线模型；并构建损失函数。本公开提供的方法实现的技术效果包括：有效地拓展到实际应用场景上，并可以结合多种不同的融合方法和半监督伪标签方法。