一种融合多模态特征的情感识别方法、装置、设备及介质

本申请公开了一种融合多模态特征的情感识别方法、装置、设备及介质，涉及情感识别领域。该方法获取目标情感诱发的多模态数据；多模态数据包括语音信号、发音信号和声门信号；对语音信号进行多分辨率Mel语谱图深度特征的提取，获得语谱图深度特征；对发音信号进行相空间重构，并从相空间重构得到的三维样本空间中提取微积分特征，获得发音特征；提取声门信号的声门特征；采用分级受限玻尔兹曼机融合语谱图深度特征、发音特征和声门特征，获得融合后的多模态特征，进而采用改进堆叠长短期记忆网络进行情感识别，获得目标的情感。本申请能提高情感识别的准确率。