摘要
本申请公开了一种基于多模态序列惩罚的内容安全管控方法,从多个连续音视频帧中,提取至少一个待检测GOP和对应的待检测音频;选取与其它GOP差异最大的GOP作为目标GOP;将目标GOP的P帧预测值、目标GOP的P帧的预测误差以及目标GOP对应的目标音频信号,输入Transformer框架,推理得到目标GOP的序列惩罚值;将多个连续音视频帧、序列惩罚值与随机噪声输入生成对抗网络生成器训练,生成带有异常内容的音视频帧;将带有异常内容的音视频帧输入训练后的生成对抗网络,通过生成对抗网络中的判别器输出判别结果的概率分数;基于所述概率分数的容忍度,判断带有异常内容的音视频帧是否违规。
技术关键词
音视频
生成对抗网络
预测误差
融合特征
注意力
矩阵
随机噪声
序列
音频播放设备
管控方法
计算机可读指令
编码器
框架
解码器
视频帧
信号
多模态
输出特征
显示屏
系统为您推荐了相关专利信息
动态监测方法
时序卷积神经网络
多源卫星数据
矩阵
贝叶斯模型
高斯混合模型
储能电池堆
电池模组
融合特征
电池单体
数据分析方法
专用数据库
实体识别模型
风险
计算机可执行指令
机器学习模型
LightGBM模型
电子设计自动化技术
样本
标准单元库设计