一种多模态情感分析方法及系统

一种多模态情感分析方法及系统，首先，针对待分析的多模态人脸视频数据，利用预训练好的模型对不同模态的数据特征进行提取。然后，基于特征解耦的思想，将多模态特征投影至模态共享特征子空间与模态私有特征子空间以最大化保留不同模态的信息。在特征解耦模块，提取去噪的多模态共享特征。针对模态私有特征学习，通过最小化每个模态私有表征之间的互信息，约束不同模态的私有特征相互独立，提取多模态私有特征。然后，通过一个两阶段的跨模态的注意力融合模块，实现不同特征的融合，实现多模态情感分析任务。本发明提供准确高效的多模态情感分析服务，可以为心理专家和咨询人带来方便、及时的心理辅导服务。