摘要
本发明提供了一种动态自适应的多模态情感分析融合方法及系统,涉及多模态情感分析技术领域。该方法同步采集目标用户的语音、文本、面部表情和肢体动作数据,形成多模态数据集。首先,提取各模态的情感特征,并构建跨模态关联模型以捕捉不同模态间的协同与互补关系。基于跨模态关联模型的权重矩阵,计算各模态的实时置信度评分及互补性指标。然后,根据这些评分和指标,动态选择加权平均或最大熵算法融合多模态情感特征,生成综合情感特征向量。最后,将该向量输入预训练深度学习模型,输出用户的情感状态类别。本发明能够准确全面地捕捉用户情感,实现高效的情感识别和分类,提升情感分析系统在复杂场景中的鲁棒性和灵活性。
技术关键词
融合方法
情感特征
深度学习分类模型
跨模态
数据
动态
传感器设备
算法
融合策略
骨骼关键点
残差卷积神经网络
指标
多模态情感分析
双向长短期记忆网络
梅尔频率倒谱系数
训练深度学习模型
拉格朗日乘数法
动作特征
情感分析系统
系统为您推荐了相关专利信息
电性能测试装置
测试岩心
柔性支撑杆
测试端子
测试箱体
能量存储转换装置
日前优化调度方法
调度优化模型
光伏电站
优化调度系统
关键词
表格特征
数据字
数据处理方法
文本识别模型