摘要
本发明涉及一种基于多粒度注意力机制的多模态隐式情感分析方法,属于人工智能领域,包括以下步骤:S1.使用多尺度注意力融合的视觉特征提取策略提取图像信息中的视觉特征;S2.采用图像翻译引擎生成图像信息的文本描述,并与原文本进行拼接,通过层次注意力机制提取文本特征;S3.进行归一化处理;S4.采用双向交叉注意力机制对视觉特征和文本特征进行多模态细粒度相关融合,通过多头注意力机制和残差连接提取视觉特征和文本特征中的细粒度特征;S5.使用自适应多模态分类模块对细粒度特征进行融合,完成情感分类。本发明解决了多模态情感分析在模态间相关性挖掘不足、细粒度信息捕获不充分以及噪声干扰较大的问题。
技术关键词
视觉特征
文本
情感分析方法
细粒度特征
层次注意力机制
表达式
生成图像信息
多头注意力机制
高层次
预训练语言模型
交叉注意力机制
焦点损失函数
线性变换矩阵
融合特征
多模态
非线性
系统为您推荐了相关专利信息
局部视觉特征
多模态
高质量训练数据集
生成方法
全局视觉特征
编排方法
生成可执行代码
模板
语义角色标注
参数
上下文语音识别
命名实体识别模型
交叉注意力机制
ASR系统
打分器
文本编码器
命名实体识别方法
预训练模型
视觉特征
解码矩阵