一种基于混合机制的多模态情感分析方法及系统

一种基于混合机制的多模态情感分析方法及系统，属于情感分析技术领域，解决了跨模态交互可能异步发生的问题，以及冗余信息传递过多的问题。所述方法包括：采集视频流数据并分离成多模态数据；对多模态数据进行预处理；利用COVAREP、FACET、BERT模型进行信息嵌入；使用TCN获取独立模态内时序关联，对音频和图像采用基于自注意力的Transformer‑encoder进行编码表示；抽取出音频、图像和文本中的私有特征和公有特征，传入CMD损失、重构损失以及相似度损失函数，获得损失值并进行梯度回传更新；输入跨模态融合模块抽取出不同模态之间的特征；最后，融合早期、中期和晚期的多模态特征对视频情感进行综合判定。本发明适用于舆情分析、商品推荐、股票预测等场景。