基于图文对比辅助学习的人脸反欺诈模型训练方法及装置

本申请公开了一种基于图文对比辅助学习的人脸反欺诈模型训练方法及装置，属于人工智能技术领域。方法包括：对图像集中各个样本图像的内容进行识别，得到各个样本图像对应的描述文本；结合描述文本和标签生成各个样本图像对应的文本数据；将图像集中各个样本图像输入至多模态预训练模型中的图像编码器，以及将各个图像对应的文本数据输入至多模态预训练模型中的文本编码器，以对多模态预训练模型进行训练，得到人脸反欺诈模型。上述方法，整合了图像内容描述文本和人脸类型标签，并且对特征进行混合，引入中心差分卷积适配器模块以捕捉人脸的细微特征，采用图文比对学习和匹配对特征进行语义对齐，提高了模型在不同应用场景下的泛化能力。