一种基于跨模态文本增强的多任务情感分析方法

本发明公开了一种基于跨模态文本增强的多任务情感分析方法，方法包括：分别获取视频特征向量、音频特征向量和文本特征向量；将各向量分别输入跨模态文本增强模块和After‑Bert模块处理获取多模态特征和单模态特征；引入单模态标签生成模块，基于多模态特征和单模态特征，生成单模态标签，并通过目标损失函数进行优化模型参数。本发明利用文本模态强大的情感导向作为基础，同时也考虑到非文本模态对文本模态的影响，采用交叉注意力机制分别捕获语音和视频模态的远距离重要信息，在情感分析任务的准确性、成本效率、泛化能力及实际应用范围等方面均带来显著提升，为人机交互、心理健康监测等场景提供了更可靠的技术支持。