一种考虑交互上下文的跨模态情感识别方法及系统

本发明公开一种考虑交互上下文的跨模态情感识别方法及系统，涉及情感识别技术领域，将图像、音频和文本分别输入至多模态情感识别模型进行处理，得到情感分析结果；多模态情感识别模型包括依次按照顺序连接的多模态特征提取模块、联合跨模态注意力模块和多层感知机；将图像、音频和文本分别输入至多模态特征提取模块，分别得到时序增强空间特征、时序音频特征和时序文本特征，并一并输入至联合跨模态注意力模块得到情感分析结果，通过整合多模态信息融合，在情感分析的精度和鲁棒性方面取得了显著提升，特别是在模态间深层次互动和上下文关联的建模上取得了进展，能够更精准地处理复杂情感场景中的动态变化，增强了各模态间的上下文整合能力。