摘要
本发明属于信息处理技术领域,提供了一种多模态虚假新闻检测方法、电子设备及存储介质,方法包括:视频转化、分段处理和对齐、帧图像提取、图文特征提取及单模态能量值计算、跨模态不确定性融合、异构图构建、动态注意力融合、证据融合与决策选择以及分类处理;本发明通过对视频新闻进行转化、分段、语义对齐和帧图像提取,实现了高质量提取视频新闻内容,为后续分析过程提供了可靠数据;通过对提取特征进行能量值计算、不确定性融合、动态注意力融合,实现了图文特征的跨模态动态融合,提高了融合特征的可靠性;通过注意力融合、证据融合与决策选择以及分类处理,提取了深层模态交互信息,提高了全局聚合能力以及虚假新闻的判断准确率。
技术关键词
时序
文本
注意力
多模态特征
关键帧
分段
表达式
图像
感知特征
线性单元
异构
跨模态
决策
动态
视频
语义
训练参数集
自动语音识别
矩阵
系统为您推荐了相关专利信息
视频特征向量
关键帧
文本特征向量
关键词
文本编码器
金融
转录方法
语音信号特征
小波变换系数
语音识别模型
退补电量
计量故障
LSTM模型
多头注意力机制
计算方法