基于语料库增强与跨模态生成的多模态情感分类方法及系统

本发明涉及人工智能及情感识别技术领域，公开了一种基于语料库增强与跨模态生成的多模态情感分类方法及系统，方法包括如下步骤：步骤1、对多模态数据进行预处理与特征提取；其中：多模态数据包括视频模态、文本模态以及音频模态；步骤2、将各模态特征投影至低维共享空间；其中：通过全连接层将视频、文本、音频模态特征分别映射至统一低维空间，以消除模态间维度差异，并采用ReLU激活函数增强表达能力；步骤3、对输入的各模态特征进行基于文本库的特征增强，以输出增强后的模态特征。本方案支持单模态、双模态及三模态输入，适应实际应用中数据缺失的多样性，且模型识别准确率高。