基于情感极性和情感强度的多模态情感分析方法及系统

本发明公开了基于情感极性和情感强度的多模态情感分析方法及系统，其中方法步骤包括：采集初始视频数据，并提取初始模态特征；提取初始模态特征中的高层次语义特征；提取高层次语义特征模态内和模态间的交互信息；提取交互信息中的情感极性和情感强度向量；基于情感极性和情感强度向量，完成视频数据中的人物情感分析。本发明采用了Transformer编码器和MLP编码器来提取高层次语义特征，并通过多粒度跨模态交互模块来提取模态内和模态间的交互信息。这种设计使得模型能够深入挖掘不同模态间的局部特征和细节信息，增强了对情感表达的理解和分析。本发明还通过跨模态注意力机制和前馈神经网络，完成了对视频数据中人物情感的分析。