基于CLIP模型的图像伪造检测方法及设备

本发明公开了一种基于CLIP模型的图像伪造检测方法及设备，首先构建包含多种伪造类型及对应文本描述的多模态篡改数据集；利用该数据集通过LoRA微调CLIP模型，使其学习像素级伪造特征，增强对篡改图像与真实图像差异的表征能力；对于输入图像，分别利用离散余弦变换分解其低频和高频分量；将微调后CLIP视觉编码器的特征图分别与低频特征融合，通过解码器输出多类别伪造区域定位结果；同时，将其与高频特征融合，通过解码器输出像素级拼接痕迹预测图。本发明有效提升了模型在真实场景中的泛化能力，实现了对具体伪造手段的鉴别，并精确揭示了拼接篡改的边缘痕迹，为图像篡改取证提供了更全面的技术支撑。