基于嵌入大语言模型的多模态模因有害性检测方法及装置

本发明涉及网络安全与人工智能技术领域，公开了一种基于嵌入大语言模型的多模态模因有害性检测方法及装置。所述方法包括：从多模态模因图像获取视觉描述文本后与原始文本进行数据增强；提取多模态模因图像的视觉特征以及增强文本的文本特征，将文本特征映射至与视觉特征匹配的特征空间，实现跨模态对齐，对视觉特征与文本特征进行融合得到融合特征；通过 MoE 混合专家分类模型对融合特征进行处理，输出多模态模因有害性概率。应用本发明可以实现高精度、高鲁棒性、低成本的多模态模因有害性检测。