基于音视频时域融合的深度伪造检测方法和系统

本发明提供一种基于音视频时域融合的深度伪造检测方法和系统，利用一个自监督的特征提取器捕获音频和视频两个模态间的不连续性，首先使用残差网络提取视频特征，使用前馈网络提取音频特征，然后使用Transformer编码器对合并的视频特征和音频特征进行融合；同时，视频特征和音频特征也分别被输入到Transformer编码器进行高维特征提取；最终，由Transformer编码器得到的视频特征、音频特征、音视频融合特征被合并在一起，通过多尺度时域卷积网络进行深度特征融合，并通过时域池化层和线性层得到最终的检测结果。本发明能够充分的利用深度伪造视频的多模态信息，提升深度伪造视频检测的准确率。