一种基于图文细粒度对齐的深度跳转连接注意力多模态情感分析方法

本发明提供一种基于图文细粒度对齐的深层跳转连接注意力多模态情感分析方法，属于多模态情感分析领域。此方法通过引入图文细粒度对齐和跳转连接注意力机制，改进传统的多模态情感分析方法，有效地解决了模态对齐不精细和特征融合时重要信息丢失的问题。该技术首先对图像和文本进行特征提取，将图像转换为像素块嵌入序列，将文本转换为单词嵌入序列，然后通过跨模态深度交互网络进行深度交互融合，实现模态间的细粒度对齐和特征深度融合。本方法中，设计了自适应门阀控制的跳转连接注意力通道来保留重要信息，提高模型对图文关系的理解。本发明能显著提升多模态情感分析的准确性和可解释性，提高模型的跨模态学习能力。该方法适用于社交媒体分析、舆情监测等多模态情感分析应用场景，为理解用户的情感、态度和观点提供了有力的支持。