摘要
本申请公开了一种基于多模态数据的风险摘要生成方法,属于安全内容识别技术领域。该方法包括:获取多模态数据,多模态数据的数据类型包括视频图像数据、音频数据、文本数据中的至少一种;将多模态数据输入到风险识别检测模型,得到多个第一语义信息和第一检测结果,风险识别检测模型包括训练后的视频图像伪造检测子模型、音频伪造检测子模型、文本伪造检测子模型、图文摘要子模型和语音转录子模型;对多个第一语义信息和多个第一检测结果进行关联,得到第二语义信息;基于第二语义信息和风险知识库,生成风险摘要,该方法提升了风险内容识别和风险摘要生成的准确性和有效性。
技术关键词
摘要生成方法
多模态
风险
语义
频谱特征
音频
视频
文本编码器
图像编码器
非暂态计算机可读存储介质
梅尔频率倒谱系数
内容识别技术
摘要生成装置
残差网络模型
数据模块
短时傅里叶变换
系统为您推荐了相关专利信息
井电双控设备
多模态数据融合
处理单元
机械臂
生成控制指令
点云压缩方法
空间分布信息
点云特征
冗余
多尺度
动态变化监测方法
地理信息数据
实时数据
基线
数据分析模块