摘要
本发明公开了一种基于事件驱动的多模态深度伪造检测方法及装置,方法包括:收集来自不同模态的数据源,得到成对配套的训练数据集;分别对原始事件流数据、原始视频数据和原始音频数据进行对应的特征提取,得到原始事件特征、原始视频特征和原始音频特征;对原始事件特征、原始视频特征和原始音频特征进行融合及拼接,得到深层深度伪造检测特征;预测深层深度伪造检测特征对应的深度伪造检测标签,基于深度伪造检测标签训练深度伪造检测模型,以实现多模态深度伪造检测。利用本发明实施例,能够实现对深度伪造内容中快速变化的伪造痕迹、微表情伪造及音视频不一致等情况的有效检测,提升深度伪造检测的准确性和鲁棒性。
技术关键词
事件特征
事件流数据
融合特征
音视频
多模态深度
事件相机
视频特征提取
音频特征提取
标签
模块
特征提取器
注意力
时序
分类器
存储器
系统为您推荐了相关专利信息
电子节目指南信息
音视频
视频生成模型
显示设备
音频特征
文本匹配方法
多模态
数据处理方法
语义
模态特征
语音识别装置
内窥镜系统
多模态语音
语音识别模型
图像采集装置
指纹识别方法
特征金字塔网络结构
鲸鱼优化算法
特征提取模块
指纹图像采集设备
图像拼接方法
融合特征
特征提取模块
卷积模块
特征提取网络