摘要
本发明公开了一种多模态情感分析方法及装置,包括获取待检测多模态情感数据,将待检测情感数据输入至预置多模态情感分析模型,预置多模态情感分析模型包括多模态特征提取网络、交叉注意力特征交互网络和多模态特征评分网络;通过多模态特征提取网络对待检测多模态情感数据进行特征提取,生成多模态情感张量;将多模态情感张量输入至交叉注意力特征交互网络进行特征交互,输出多模态交互特征;采用多模态特征评分网络对多模态交互特征和多模态情感张量进行特征评分,生成目标情感分析分数;解决了现有的多模态情感分析方法使得融合后的特征的噪声多,导致模型分析效果较差的技术问题。
技术关键词
情感分析模型
情感分析方法
多模态交互
交互特征
文本
叠加特征
特征提取网络
交互网络
视频帧
多模态特征
非线性特征
音频特征
交叉注意力机制
矩阵乘法运算