一种不确定内容缺失下的多模态情感分析方法及系统

本发明涉及多模态情感分析技术领域，尤其是涉及一种不确定内容缺失下的多模态情感分析方法及系统。方法，包括获取多模态情感数据，包括图像、音频和文本三种模态；利用多头注意力机制以及扩散模型特征聚合方法对获取的多模态情感数据进行特征片段筛选；通过金字塔融合方法对筛选的特征进行三层不同粒度特征融合；通过卷积融合分解机制对融合后的特征进行三模态分解后与原始模态融合；得到情感预测结果。本发明为了解决不确定内容确实问题，创新的提出了MFAMSA模型。MFAMSA通过卷积融合分解补全、多层次关键片段交互形成新片段以及新旧片段注意力扩散筛选方法提升关键片段质量，有效解决了不确定内容缺失问题。