基于低秩多模态剪切、拼接和融合的情感识别方法

本发明提出了一种基于低秩多模态剪切、拼接和融合的情感识别方法，属于情感识别领域。该方法首先通过VGG19模型提取图像特征，通过BERT模型提取文本特征，并结合MFCC与1D‑CNN模型获取音频特征。接着，使用跨模态融合模块，将不同模态的特征进行深度交互与融合，得到多模态的综合表示。最后，通过LMSSF方法将融合表示与原始特征相结合，生成情感识别的最终输出。本发明优点为：利用不同模态间的互补信息，并深度挖掘模态内部及模态之间的交互作用，促进了情感语义特征的流通与传递。该方法在情感分析任务中达到了97.3％的准确率，实现了业内领先的性能，提升了模型在情感分析中的准确性与鲁棒性。