多模态内容智能审核与违规检测方法及系统

本发明公开了一种多模态内容智能审核与违规检测方法及系统，涉及信息处理技术领域。本发明包括下步骤：对视频流进行音画分离，对音频转文字与视觉关键帧提取并行处理；构建时空编码器记录各模态时间戳对应关系；构建多模态资源目标字典，利用关系类目形成实体间知识图谱；通过比对学习训练共享语义空间，计算模态间置信度差异指标；进行违规判定，对任一模态触发敏感特征阈值，并启动多模态证据交叉验证。本发明通过对视频流进行音画分离，对音频转文字与视觉关键帧提取并行处理，构建多模态资源目标字典，根据模态间置信度差异指标进行违规判定，提高虚假信息审核效率和检测效率。