基于语音与表情匹配的人脸深度伪造检测方法及相关设备

本发明提供了一种基于语音与表情匹配的人脸深度伪造检测方法及相关设备，将用于训练的视频文件分别输入构建的CNN‑15‑GRU‑B模型和改进的CNN模型进行训练，得到语音情感分析模型和人脸表情情感分析模型，以用于对待检测视频文件进行特征提取，得到语音情感特征和人脸表情情感特征以构造情感相似度矩阵，根据情感相似度矩阵分析人脸深度伪造检测结果；与现有技术相比，通过语音情感分析模型和人脸表情情感分析模型提取语音情感特征和人脸表情情感特征，基于两种情感的相似度来深入分析人物表情的自然性，进而判断是否存在人脸深度伪造，在摆脱直接训练人脸深度伪造样本限制的同时，提高了检测精度。