一种基于深度解耦与跨模态语义对齐的多模态情感分析方法

本发明为一种基于深度解耦与跨模态语义对齐的多模态情感分析方法，包括：对输入的视频数据进行预处理和特征提取；基于HSIC准则的特征解耦机制对三个模态进行解耦；跨模态对齐三个模态语义；层次化预测情感类别；最后输出预测结果。该方法通过解耦文本、音频和视觉三种模态的特征，将每种模态的独特属性与共享的情感语义分离，解决了现有多模态情感分析方法中模态间冗余与冲突信息的问题。在此基础上，提出了一种基于文本引导的跨模态对齐机制，通过跨模态注意力机制对共享特征进行对齐，增强了不同模态间的语义一致性。同时，通过层级融合策略有效地将解耦后的独特特征与对齐后的共享特征进行融合，提高情感预测的准确性。