一种基于多尺度相似性特征重构的多模态情感分析算法

本发明公开了一种基于多尺度相似性特征重构的多模态情感分析算法，包括：特征提取网络；联合表示模块；多尺度相似性特征重构模块；基于对称的跨模态注意力机制的多模态融合框架；首先，使用特征提取网络从多模态表示方面中提取特征。然后，将单模态特征映射到同一维度的空间中得到它们的联合表示，通过分别对这两个模态编码输入表示，再利用文本模态进行重构学习这两个模态与文本模态相关的情感，最小化它们之间的表示分歧。最后，使用对称的跨模态注意力机制的多模态融合框架来对多模态特征进行融合，从而使模型更加关注主要的情感。上述多模态融合和表示学习方法，能够在多模态情感分析领域有显著优势。