基于多层感知机融合的视频多模态情感分析方法及装置

发明公开了基于多层感知机融合的视频多模态情感分析方法及装置，涉及情感分析技术领域，方法包括：S1，提取视频中的文本特征、图像特征和音频特征；进行图像特征和音频特征中的时序信息提取得到时序图像特征和时序音频特征；S2，构建包括多模态特征捕捉模块、多层感知机融合模块和情感分类器的视频多模态情感分析模型，以模态间的模态相似性、模态异质性构建损失函数；S3，对模型进行训练；S4，将文本特征、时序图像特征和时序音频特征输入训练好的模型，得到情感极性概率分布。本发明通过构建相似性损失与异质性损失，使用多层感知机进行序列、通道和模态维度融合，降低了计算复杂度与内存消耗，提升了多模态情感特征的完整性与判别性能力。