摘要
本发明公开了一种多模态情感识别方法及装置,用于解决现有的多模态情感识别方法导致识别精度差的技术问题。方法包括获取待检测多模态情感数据,将待检测情感数据输入至预置多模态情感识别模型,预置多模态情感识别模型包括多模态特征提取网络、跨模态特征交互网络、表征学习网络和特征模态识别网络;通过多模态特征提取网络对待检测多模态情感数据进行特征提取,生成多模态情感感知特征;将多模态情感感知特征输入至跨模态特征交互网络进行特征交互,输出多模态交互特征;采用表征学习网络对多模态交互特征进行特征学习,生成多个模态隐藏向量;通过特征模态识别网络对多个模态隐藏向量进行情感识别,生成目标多模态情感识别结果。
技术关键词
多模态情感识别
交互特征
视频帧特征
感知特征
情感识别方法
文本
音频特征
多模态交互
跨模态
特征提取网络
矩阵乘法运算
交互网络
键值
注意力
递归神经网络