一种跨模态多层融合的情感识别方法和系统

本发明涉及一种跨模态多层融合的情感识别方法和系统，该方法包括：对所述待检测的文本样本和图像样本进行预处理，得到文本数据和图像数据；使用生成式编码模型对所述图像样本进行处理，生成图像描述文本，将其作为第三模态；对所述文本数据、图像描述文本以及图像数据进行特征提取得到单模态特征；使用多层Transformer编码器对上述单模态特征两两交叉融合以实现模态间的对齐与交互，并使用Mamba状态空间模型对上述融合特征进行状态选择和更新，以降低维度和复杂性并得到最终用于情感分类的融合特征R；使用分类器对所述融合特征R进行分类，得到情感识别结果。本发明方可以有效提高多模态情感识别结果的准确性和推理速度。