一种应用于文本模态缺失场景下的多模态情感识别方法和系统

本发明公开了一种应用于文本模态缺失场景下的多模态情感识别方法，包括：获取待检测者的视频与音频，对获取的视频和音频分别进行预处理，以分别获取多个预处理后的人脸视频关键帧和多个梅尔频率倒谱系数MFCC特征，将预处理后的多个人脸视频关键帧和MFCC特征成对输入至预先训练好的情感识别模型中，以获取待检测者的多个情感类别，并对得到的多个情感类别进行One‑Hot编码，以获取多个向量作为最终的情感识别结果。本发明能够解决现有多模态情感识别方法由于文本模态数据在工业场景下难以获取，直接导致情感识别准确率降低的技术问题。