摘要
本公开的实施例公开了基于多模态缺失数据的情感识别方法、装置、设备和介质。该方法的一具体实施方式包括:生成多模态情感数据序列集;执行以下步骤:得到对应多模态情感数据的文本模态特征信息、音频模态特征信息和视频模态特征信息;生成对应多模态情感数据的多模态情感融合特征信息;构建多模态时序关系矩阵和说话人关系矩阵;生成多模态图特征信息;生成重建文本卷积特征、重建音频卷积特征和重建视频卷积特征;生成重建融合特征信息;生成多模态情感识别结果;将所生成的各个多模态情感识别结果发送至用户终端。该实施方式可以提高情感识别时的准确率,可以减少识别时的计算资源浪费。
技术关键词
卷积特征
情感识别模型
融合特征
多模态情感识别
样本
视频特征信息
音频特征信息
文本
数据
情感识别方法
多模态特征
分类网络
矩阵
序列
关系
时序
系统为您推荐了相关专利信息
容错组合导航方法
故障检测
因子
陀螺仪信息
样本
文档生成系统
文档生成模块
子模块
答案
多用户协同编辑
语义分割模型
拼接模块
图像编码器
文本编码器
视觉特征
低代码平台
页面搭建方法
抽象语法树
多模态特征
视觉特征
生成对抗网络
虚拟样本生成方法
参数
计算机可执行指令
多任务联合训练