摘要
本发明公开了一种跨模态动态融合的多任务联合优化虚假新闻检测方法,包括:通过多模态特征提取器提取文本和图像中的文本特征和图像特征,其中,文本特征通过ConvBERT进行嵌入与特征提取,图像特征通过Vision Transformer实现视觉特征的深层表示;针对提取到的文本特征和图像特征,分别构建单模态假新闻检测子任务,输出经初步处理后的特征向量送入主任务;主任务层面采用跨模态特征动态融合策略,将文本与图像特征进行自适应加权拼接,从而完成多模态假新闻检测。通过引入动态调整机制和联合优化策略,旨在充分挖掘不同模态数据之间的潜在关联,并实现更高效、更准确的虚假新闻检测。
技术关键词
跨模态
多任务
视觉特征
特征提取器
融合策略
编码器
不确定性参数
动态调整机制
语义特征
联合损失函数
矩阵
文本特征向量
多模态特征
图像块
权重策略