摘要
本发明公开了一种多模态情感识别方法、装置、设备及介质,涉及计算机技术领域,包括:构建情感状态文本向量数据库,从该数据库中检索出与文本特征最相关的情感状态文本向量,并将其与文本特征拼接,得到增强的文本表示;将增强的文本表示与输入图像的多级视觉特征进行融合,生成融合特征向量,动态更新所述情感状态文本向量数据库,并通过解码得到情感类别的概率分布。这样可有效地捕捉细粒度情感变化的复杂性,避免固定文本输入导致的模型误导问题,使得模型在复杂和多变的情感场景中能够灵活扩展情感分类目标,分类结果更加精准可靠,显著提高了检测精度和适应性,在动态情感场景中表现出更强的鲁棒性。
技术关键词
文本
情感识别方法
情感类别
多模态情感识别
动态更新
输出特征
注意力机制
视觉特征提取
融合特征
前馈神经网络
可读存储介质
存储计算机程序
特征提取模块
拼接模块
解码模块
图像