一种多模态情绪识别方法以及心理干预系统

本发明公开了一种图像数据处理技术领域的多模态情绪识别方法以及心理干预系统，旨在解决现有技术中单一模态的识别无法全面反映个体的真实情绪状态的问题。其包括根据视频片段处理得到连续帧图像信息；检测连续帧图像信息对应的人脸特征点序列；进行数据增强，得到第一特征向量；加权处理，得到第二特征向量；通过表情与特征点联合模块进行联合处理，得到图像特征向量；提取音频特征向量；通过视听张量积融合模块进行融合处理，得到最终的融合特征向量，利用基于Transformer架构的多模态融合情绪识别网络模型输出目标人物的情绪识别结果。本发明不局限于单一静态时刻，而是能够实时追踪和捕捉情绪动态变化，增强对情绪动态的响应能力。