利用生成式图像语义增强情感检测的方法及系统

本发明属于人工智能技术领域，涉及一种利用生成式图像语义增强情感检测的方法及系统，所述方法包括：获取包含文本内容与配套图片的推文数据并对其进行预处理；将配套图片转换为具备自然语言表达能力的描述文本；将文本内容与描述文本进行融合，形成融合后的增强文本；将融合后的增强文本输入至预训练语言模型中以提取文本特征编码，采用视觉编码器对预处理后的配套图片进行编码以提取图像特征编码，并将它们进行联合建模，生成统一的多模态语义表示向量；将多模态语义表示向量输入至情感分类模型中，判断推文数据想要表达的情感。其在图像情绪理解的可解释性、图文语义融合的协同性、以及系统的部署效率与泛化能力方面都得到了显著提升。