摘要
本申请的实施例涉及情感识别技术领域,特别涉及一种多模态情感识别方法、系统、电子设备和存储介质,包括:通过毫米波雷达获取由语音样本数据、图像样本数据和文本样本数据组成的多模态样本数据并标注情感标签;构建由图像特征提取分支网络、语音特征提取分支网络、文本特征提取分支网络、融合网络、残差网络和判别网络组成的多模态情感识别模型;基于模型输出的对多模态样本数据的情感类别识别结果以及多模态样本数据上标注的情感标签,对模型进行迭代训练至收敛,得到训练完成的模型;通过毫米波雷达获取待识别对象的多模态数据并输入至训练完成的模型中,获取对待识别对象的情感类别识别结果。该方法有效提升了情感识别的准确率。
技术关键词
情感识别模型
多模态情感识别
语音特征提取
图像特征提取
样本
情感类别
文本
数据
残差网络
分支
图像分类网络
注意力机制
上下文特征
系统为您推荐了相关专利信息
活性预测方法
结构特征提取
分子
属性预测模型
模块
噪声
交叉注意力机制
计算机设备
ResNet网络
语义特征