一种音视频联合的事件检测方法

AITNT
正文
推荐专利
一种音视频联合的事件检测方法
申请号:CN202410712802
申请日期:2024-06-04
公开号:CN118626926A
公开日期:2024-09-10
类型:发明专利
摘要
本发明涉及一种音视频联合的事件检测方法,包括以下步骤:获取目标音视频,所述目标音视频包含若干连续的音视频片段;利用音视频检测模型分析所述目标音视频获得事件分类结果:所述音视频检测模型通过弱监督学习进行优化,并通过以下步骤来去除标签噪声:获取辅助音视频,所述辅助音视频包含与所述目标音视频不相关的事件类别;通过交换所述目标音视频和所述辅助音视频的音频模态或视觉模态生成对抗性样本;利用置信度预测模型分析获得所述目标音视频和所述对抗性样本的事件类别和事件置信度;根据所述目标音视频和所述对抗性样本的事件类别和事件置信度来去除标签噪声。本发明能够提高事件检测的准确性。
技术关键词
音视频 视觉特征 音频特征 对抗性 事件检测方法 弱监督学习 融合特征 样本 特征提取模块 对齐模块 多实例 跨模态 标签 噪声 多模态 注意力机制
系统为您推荐了相关专利信息
1
语音驱动人脸视频生成方法、系统、存储介质和电子设备
视频生成方法 语音 生成对抗模型 视频生成系统 采样点
2
显示设备及音频数据处理方法
蓝牙模块 蓝牙设备 显示设备 音频数据处理方法 指令
3
一种基于错误归因的多模态推理方法及推理系统
检查点 推理方法 矩阵 归因 文本
4
基于深度学习的图像异常篡改自动检测方法、存储介质及设备
自动检测方法 建立检测模型 关键帧提取算法 全局平均池化 图像篡改检测
5
一种监控系统及其监控方法
多媒体接口 多路解码器 移动行业处理器接口 网络加速器 音视频
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号