摘要
本申请公开了一种基于多模态序列惩罚的内容安全管控方法,从多个连续音视频帧中,提取至少一个待检测GOP和对应的待检测音频;选取与其它GOP差异最大的GOP作为目标GOP;将目标GOP的P帧预测值、目标GOP的P帧的预测误差以及目标GOP对应的目标音频信号,输入Transformer框架,推理得到目标GOP的序列惩罚值;将多个连续音视频帧、序列惩罚值与随机噪声输入生成对抗网络生成器训练,生成带有异常内容的音视频帧;将带有异常内容的音视频帧输入训练后的生成对抗网络,通过生成对抗网络中的判别器输出判别结果的概率分数;基于所述概率分数的容忍度,判断带有异常内容的音视频帧是否违规。
技术关键词
音视频
生成对抗网络
预测误差
融合特征
注意力
矩阵
随机噪声
序列
音频播放设备
管控方法
计算机可读指令
编码器
框架
解码器
视频帧
信号
多模态
输出特征
显示屏