基于多模态对比学习的深伪视频检测方法

本发明涉及一种基于多模态对比学习的深伪视频检测方法，适用于深度伪造检测领域；该方法包括：将待检测视频输入经训练的视频鉴伪模型，输出该待检测视频的检测结果；视频鉴伪模型包括：视觉编码器，取自经训练的音、视频对比学习模型，用于提取待检测视频中人脸序列的视觉特征；音频编码器，取自经训练的音、视频对比学习模型，用于提取待检测视频的音频特征；跨模态特征融合模块，用于融合视觉编码器提取的视觉特征和音频编码器提取的音频特征，得到特征融合结果；时空特征提取模块，用于对特征融合结果提取时空特征；融合特征不仅包含视觉特征，还包括音频特征，特征更丰富；分类器，用于基于时空特征，将待检测视频分类为真实视频或伪造视频。