一种基于跨模态视觉大语言模型的多种图像伪造检测方法及系统

本发明提供一种基于跨模态视觉大语言模型的多种图像伪造检测方法及系统，涉及图像处理与计算机视觉技术领域，所述方法包括：构建数据集，对数据集进行预处理；根据预处理的数据，通过预训练视觉Transformer和语言模型分别提取视觉特征和语言特征，以得到跨模态特征；根据跨模态特征，对视觉和语言特征分别聚类，计算跨模态相似度建立匹配关系，并进行融合，得到融合后的多模态特征；根据融合后的多模态特征，通过生成器和判别器进行对抗训练，以生成对抗网络。本发明实现高精度检测与定位拼接、复制粘贴、AIGC生成等多种图像伪造类型进行有效检测。