一种基于视听情感一致性的人脸伪造检测方法

本发明提供一种基于视听情感一致性的人脸伪造检测方法，包括以下步骤：获取待检测的人脸视频及其同步音频；将所述人脸视频及其同步音频输入预处理模块，输出对应的视频帧序列和梅尔频谱图；通过编码模块提取所述视频帧序列的初始图像特征，以及所述梅尔频谱图的初始音频特征；将所述初始图像特征和初始音频特征输入深度提取模块，所述深度提取模块包括至少一个多模态情感特征深度提取器，执行以视频为主的情感特征提取和以音频为主的情感特征提取；将所述高阶视频情感特征和高阶音频情感特征输入视听情感特征融合模块，生成视听情感判别特征；通过分类模块预测三个情感倾向；比对三个情感倾向的一致性，输出伪造检测结果。