摘要
本发明属于类增量弱监督视听视频解析领域,公开一种基于语义原型修正的可靠类增量行为知识蒸馏方法及系统,具体包括以下步骤:获取包含基础动作类别样本视频的初始数据集;定义初始模型,用于输出样本视频的视觉和音频模态片段级的动作得分,并通过初始数据集对初始模型进行训练;建立记忆空间,初始数据集中各动作类别均选择特定配额样本视频存入记忆空间;当增加新动作类别时,获取包含新增动作类别样本视频的增量数据集;本发明通过构建语义原型池和合理分配记忆空间样本配额,并结合相似度计算及修正调整,有效解决了现有技术中模型面对持续新增的类别时,存在着容易因灾难性遗忘导致旧类别识别性能下降的问题。
技术关键词
知识蒸馏方法
原型
样本
视频
记忆
语义
配额
增量更新
数据
滑动窗口机制
蒸馏系统
基础
音频特征
视觉特征
注意力机制
标签
系统为您推荐了相关专利信息
分类准确率
数据集构建方法
动态
样本生成方法
生成测试数据
多智能体强化学习
链路接入方法
强化学习算法
信息数据处理终端
策略
数据管理
层次结构模型
能力评估方法
能力评估装置
数据收集模块