一种基于多模态身份识别和DeepFake鉴伪的检测方法

本发明公开了一种基于多模态身份识别和DeepFake鉴伪的检测方法，属于计算机视觉和生物特征识别技术领域。该方法通过采集人脸图像、虹膜特征、表情变化序列、手势动作轨迹以及模拟障碍物拖动过程中的力学和轨迹数据等多模态生物特征数据，经过数据预处理、特征提取与融合后，将全局特征输入预训练的DeepFake检测模型进行伪造检测，并采用对抗性样本增强方法提高检测模型的泛化能力，最后根据检测结果进行反馈与响应。本发明能够有效克服现有技术中存在的单模态技术抗干扰能力不足、多模态融合实时性差以及DeepFake检测技术对新型伪造的鲁棒性和泛化能力有限等缺陷，具有多模态增强识别、跨模态伪造检测、实时响应能力强、鲁棒性强等优点。