一种基于预训练和文本模态引导的多模态情感分析方法

本发明适用于情感分析技术领域，尤其涉及一种基于预训练和文本模态引导的多模态情感分析方法，所述方法分为两个阶段实施：预训练阶段包括获取多模态数据各模态的初始特征，将各模态特征分解为相似特征和相异特征；构建样本内与间正负对，计算对比损失与单模态预测误差，提取模块与投影器参数，输入短视频获取各模态特征；通过初始文本相似特征学习高尺度文本表征，通过多头注意力机制自适应更新超模态特征，利用以文本模态为引导的权重模块抑制音视频冗余信息；本发明通过数据采样器和特征对比学习方法，实现以文本模态为锚点的多模态融合，能更准确地识别复杂场景下的情感倾向，在情感分类、社交媒体内容推荐等领域具有广泛价值。