一种结合预训练模型与自注意力块的多模态情感分析方法

本发明提出了一种结合预训练模型与自注意力块的多模态情感分析方法，针对现有多模态数据间语义相关性弱和数据不对齐问题，本方法基于BERT、ResNet、COVAREP模型，分别对三个模型进行改进，最终构建了多模态模型BRCM，有效地提取并整合了文本、图像和音频的关键特征。具体来说，多模态模型BRCM融合了文本处理模块、图像处理模块以及音频处理模块中的特征表示，能够同时提取和表达三种模态的深层表征，结合自注意力机制优化特征的融合过程，增强模态间的交互与整合能力，实现更精准的情感判断。该系统在不同模态的情感识别精确度上分别提升了7.48％、6.92％、1.24％。此方法为政策决策提供了有效的支持工具。