一种基于双模态引导的零样本深度伪造归因方法

本发明涉及一种基于双模态引导的零样本深度伪造归因方法，属于零样本深度伪造归因方法技术领域。其包括以下步骤：构建零样本深度伪造归因数据集，并划分为训练集和测试集，对训练集进行预处理；构建零样本深度伪造归因模型，模型包括细粒度文本生成器、人脸解析器、多视角视觉编码器模块、语言编码器、解析编码器、预测器以及多层感知机；将预处理后的数据输入到模型中，得到预测语言特征和预测图像伪造归因类别特征；通过总损失函数和优化器对模型进行训练优化，得到训练好的模型；将测试集中图像输入至训练好的模型的多视角视觉编码器模块中，得到最终深度伪造归因判别结果。本发明能够提升在零样本情境下深度伪造归因模型的准确性与鲁棒性。