一种基于大模型与小模型协同的多模态篡改信息检测方法

本发明公开了一种基于大模型与小模型协同的多模态篡改信息检测方法，包括以下步骤：给大语言模型设计提示学习模板，大语言模型根据提示学习模板对输入的图像和文本进行领域识别和情感分析，生成篡改领域引导信息及情感分析结果；利用小模型提取所述图像和文本的语义特征及情感特征，通过操纵感知的对比学习损失及交叉注意力机制，生成跨模态语义交互特征和情感交互特征，并挖掘跨模态语义和情感的不一致性线索；将生成的跨模态语义交互特征和情感交互特征输入解码器，生成图像或文本的篡改区域掩码；把所述篡改领域引导信息、篡改区域掩码及多模态交互特征输入大语言模型，生成篡改类别、篡改区域的识别和篡改识别过程的推理依据。