基于跨模态对齐的有害信息检测方法、装置、电子设备及存储介质

本发明公开了一种基于跨模态对齐的有害信息检测方法、装置、电子设备及存储介质，涉及数字图像内容安全技术领域。所述方法包括：提取模因中的文本信息，并生成图像描述，构建多模态有害信息数据集；预处理目标文本和图像数据，包括图像的归一化处理和数据增强；编码预处理后的图文数据，以获取通用的图文特征；分别使用图文通用特征进行有害信息检测，评估构建跨模态对比学习样本集；进行跨模态对齐预训练，对提取的特征进行多粒度的对比学习；将对齐的特征进行门控多通道融合，并将融合后的有害信息特征输入至分类器中，以检测和识别有害信息；该方法通过跨模态对齐和多源特征融合，深入挖掘图文特征间的相互作用，从而显著提升了有害信息检测的准确率和F1值。