摘要
本发明涉及一种基于大模型和RAG技术的视频伪造检测方法及系统,该方法包括:S1、对于输入视频,通过视频分析工具提取关键帧;S2、通过视频分析工具和视觉语言模型对输入视频和关键帧进行分析,得到音频转录文本、关键帧的描述内容及视频叙事描述内容;S3、将音频转录文本和关键帧的描述内容融合,生成结构化特征向量;S4、基于视频叙事描述内容,通过检索增强生成技术,检索最新论文、工具文档及案例资料,提取Top‑K相关文档片段组成结果集,动态更新检测规则库;S5、将步骤S3和步骤S4的输出结果输入混合专家模型,进行推理判断,得到推理判断结果。该方法显著提升了复杂场景下的伪造识别准确性,同时提升了伪造检测结果的可解释性。
技术关键词
关键帧
视频分析
音频
文本
大语言模型
视觉
计算机程序指令
生成技术
语义特征
动态更新
图像
矩阵
自然语言
索引
标记
序列
论文
嵌入特征
系统为您推荐了相关专利信息
复合模块
模型构建方法
深度神经网络
注意力
数据
报告生成方法
医学影像数据
疾病
交叉注意力机制
标签
嵌入特征
智能问答方法
智能回答方法
排序模型
摘要