不平衡跨领域的多模态分类方法、装置、设备及介质

本发明提供一种不平衡跨领域的多模态分类方法、装置、设备及介质，该方法包括：获取目标新闻的模态信息，对模态信息进行特征提取及多模态特征编码，得到新闻特征；对新闻特征采用STEM‑Net进行领域共享，得到特定嵌入表和共享嵌入表；根据特定嵌入表和共享嵌入表，采用特定专家和共享专家对多模态特征进行特征提取，得到特定领域特征和共享领域特征；对特定领域特征和共享领域特征采用Mamba Fusion进行跨模态特征增强、跨分支交互及动态模态融合处理，得到融合特征；对融合特征采用CMID模型进行聚合及分类处理，得到虚假新闻识别结果。本发明的有益效果为：提高了不平衡跨领域的多模态分类的准确度。