摘要
本发明公开一种基于多尺度增强的多模态谣言检测系统,涉及谣言检测技术领域,用于解决现有技术对多模态谣言的检测精度低的技术问题;本发明的多模态谣言检测系统,包括多尺度特征提取模块、模态感知过滤模块、模态对齐模块、类别对齐模块和分类器;其中:多尺度特征提取模块用于获取不同的模态特征;模态感知过滤模块用于提取模态共享信息和模态特定信息;模态对齐模块用于对齐图像增强后的文本特征与自增强的社交图特征;类别对齐模块用于使多模态谣言检测系统在进行训练时谣言和谣言在同一向量空间内接近,谣言和非谣言在同一向量空间内远离;分类器用于根据模态感知过滤模块所得到的模态共享信息和模态特定信息获取谣言检测的概率分布。
技术关键词
对齐模块
谣言
多尺度特征提取
多模态特征
过滤模块
细粒度特征
文本编码器
图像编码器
图像增强
样本
分类器
矩阵
社交图信息
多模态注意力
傅里叶变换处理
系统为您推荐了相关专利信息
表征学习方法
跨模态
统计特征
特征提取网络
联合损失函数
适配系统
多模态特征融合
意图类别
融合特征
导游
多模态特征
故障诊断方法
双向长短期记忆网络
储能系统
注意力机制