基于大模型和多模态融合的社交网络虚假消息检测方法

本发明公开了一种基于大模型和多模态融合的社交网络虚假消息检测方法。本发明基于给定的多模态消息，针对图像和文本，分别获得嵌入向量和对齐嵌入；利用大模型得到背景知识嵌入向量；将两个对齐嵌入拼接输入到全连接层获得多模态混合对齐嵌入向量；将图像嵌入、文本嵌入、混合对齐嵌入和背景知识嵌入输入N层堆叠递进Transformer模型，输出多模态融合后的嵌入向量；将融合的嵌入向量输入分类器，同时设定交叉熵损失函数。本发明的检测方法融入文本、图像、文本‑图像对齐特性以及大模型辅助下的背景知识，利用大语言模型产生的背景知识辅助虚假消息检测，设计的堆叠递进模型对不同的模态信息进行有效融合，从多模态融合角度提升虚假消息检测的准确度。