摘要
本申请提供的基于多模态数据的人员状态分析方法及设备,涉及计算机技术领域。在本申请中,首先,从目标人员会话数据中提取出目标图像数据和目标音频数据;其次,对目标图像数据进行第一语义挖掘,输出目标图像向量;然后,对目标音频数据进行第二语义挖掘,输出目标音频向量;进一步,融合目标图像向量和目标音频向量,输出全局情绪语义向量;最后,基于全局情绪语义向量进行分类,得到情绪类型。基于上述内容,可以改善现有技术中存在的状态分析的可靠度相对不高的问题。
技术关键词
面部特征点
状态分析方法
语义向量
图像
多模态
音频
蓝色
红色
文本
神经网络模型
历史生理数据
注意力
关系
通道
系统为您推荐了相关专利信息
状态空间模型
架构构建方法
双层优化方法
信息数据处理终端
连续状态空间
训练深度学习模型
深度学习框架
数据分类模型
图像
分类方法
攻击防御方法
卷积神经网络模型
软件漏洞分析
攻击防御系统
噪声强度