基于多模态行为一致性的伪造人脸视频检测方法及装置、电子设备、存储介质及程序产品

本公开提供一种基于多模态行为一致性的伪造人脸视频检测方法及装置、电子设备、存储介质及程序产品。所述方法包括：从包括待检测视频信号提取语音特征、面部表情特征和头部动作特征；识别语音情感、面部情感和语义情感；基于各种情感的VAD值序列，计算各种情感之间的情感一致性特征和情感同步性特征，并计算语义内容与面部情感和语音情感之间的情感语义一致性特征；构建跨模态时间依赖图，得到交互特征；利用层次化注意力网络处理语音特征、面部表情特征和头部动作特征，得到时序特征；形成多维度的融合特征向量；利用预设的二分类器处理融合特征向量，得到指示待检测视频信号是否为伪造人脸视频的分类结果。