一种融合多模态信息的深度伪造视频检测方法及装置

本发明涉及一种融合多模态信息的深度伪造视频检测方法及装置，应用于视频检测技术领域。本发明采用了多头自注意力机制分别处理待检测视频的视频帧特征向量Xv和音频MEL频谱图的音频特征向量Xa，然后将所述待检测视频的视频帧特征向量Xv和所述音频MEL频谱图的音频特征向量Xa的两种模态特征进行加权融合，从而提升深度伪造视频检测方法的准确性与鲁棒性。多模态特征的融合能够充分利用不同模态信息的互补性，确保捕捉到更全面的特征，从而提升深度伪造视频检测的准确性与鲁棒性。