一种新型的基于对比学习和模态互助的讽刺检测方法及系统

本发明属于多模态讽刺检测技术领域，公开了一种新型的基于对比学习和模态互助的讽刺检测方法及系统，包括：文本图像特征提取，分别应用Vision Transformer模型和Text Transformer文本编码器获得图像和文本表征；跨模态互助，引入得到的图像和文本特征进行信息交换，获得多模态特征表示；基于相似度的对比学习，让模型学习多模态数据中的相关特征；基于增强数据的对比学习，应用多种数据增强技术，生成增强样本，模型通过比较增强样本与原始样本之间的相似性，学习到更加本质和泛化的动物特征；模型训练与分类，得到讽刺检测结果。本发明能够对真实世界的场景实现有效的讽刺检测。