摘要
本申请特别涉及一种基于弱监督学习的视频解析标签优化方法、装置及设备,包括:对目标数据集中的待解析视频进行数据预处理,得到待解析视频的音频特征和视觉特征,在进行特征聚合后进行分析,以根据分析结果对待解析视频进行初步事件预测,获取目标数据集中的第一目标视频片段的音频轨道和第二目标视频片段的视觉轨道,并对音频轨道和视觉轨道进行交换,得到新的待解析视频并进行特征聚合后,根据分析结果对新的待解析视频进行事件预测,根据初步事件预测和新的事件预测分别生成第一模态感知事件标签和第二模态感知事件标签,并根据初步事件预测和新的事件预测的对比结果优化第一模态感知事件标签和第二模态感知事件标签。
技术关键词
视频
音频特征
视觉特征
弱监督学习
标签
交叉注意力机制
轨道
多实例
数据处理模块
关系
处理器
优化装置
分段
可读存储介质
处理单元
系统为您推荐了相关专利信息
表面印刷图案
铝板
监测系统
错误报警
数据储存单元
语义分割方法
局部注意力机制
图像分割网络
血管分割
光线投射算法