一种基于预训练与在线学习的多模态情感分析方法及系统

本发明涉及多模态情感分析技术领域，尤其是涉及一种基于预训练与在线学习的多模态情感分析方法及系统。所述方法，包括获取情感分析多模态数据，构建情感分析模型，包括构建多头注意力机制分别对文本、图像和音频模态进行编码处理，并将编码后的各模态特征拼接融合；利用前馈神经网络与多头注意力机制对融合特征中各模态间的交互关系进行挖掘；通过构建全连接神经网络评估联合特征中各模态对情感分析任务的贡献程度；将联合特征和加权后的各模态特征融合实现特征补充优化，利用训练完成的模型输出情感预测结果，本发明通过构建多头注意力机制对各模态进行编码处理，将编码后的模态特征进行拼接融合，从而显著提升情感分析的准确性。