一种情景上下文辅助的多模态情绪识别方法

本发明提出一种情景上下文辅助的多模态情绪识别方法，包括构建情绪数据集，其中每组数据Si中包括视频帧数据Ii、语音数据Ai和文本数据Ti；提取数据Ii中人物眼动序列信号Ei，利用动态时空提取网络GI1提取序列信号Ei的动态时空视图下的特征DIi1；利用静态局部提取网络GI2、全局上下文提取网络GI3提取数据Ii的静态局部视图下的特征DIi2与全局上下文视图下的特征DIi3；利用语音特征提取网络GA提取数据Ai的语音模态特征DAi；对数据Ti进行分词处理获得词语序列向量DTi；将特征DTi、DIi1、DIi2、DIi3、DAi进行拼接，并输入训练好的大语言网络进行情绪分类，获得数据Si情绪分类结果。本发明有效推进了"以人物为中心、情景上下文辅助"的多模态情绪识别理论体系的完善，为复杂现实场景下的情绪分析提供了更可靠的解决方案。