一种基于多模态对比学习的蒙语情感识别方法

本发明公开了一种基于多模态对比学习的蒙语情感识别方法，具体步骤包括：引入从自然语言监督中学习视觉情感的多模态开放集零样本分类技术，利用大量的图像文本对预训练一个图像编码器和一个蒙语文本编码器，利用这个构造的双塔结构，采用两阶段微调方法，利用对比学习损失实现图像和蒙语文本的特征对齐。在数据的处理上，利用Chinese‑CLIP模型对翻译的图文对数据进行过滤，以获得高质量的图文对数据集。本方法促进人工智能领域的多样性和包容性，为蒙语使用者提供智能的服务，同时推动相关技术在全球范围内的应用和发展。