摘要
本发明提供引入外部知识特征的弱监督时间动作定位方法及装置,方法包括:将待识别视频进行切分,得到多个视频片段,将视频片段输入至动作定位模型的特征提取模块中以对视频片段进行特征提取,得到片段特征;将片段特征输入至动作定位模型的注意力模块,得到各个片段特征的初始注意力特征;对视频片段中的关键帧进行对象识别,得到关键帧中的对象识别结果,基于对象识别结果得到外部知识特征,外部知识特征为基于动作定位模型之外的知识;基于外部知识特征和初始注意力特征,得到目标注意力特征,将目标注意力特征输入至动作定位模型中的分类模块,获取分类模块输出的待识别视频的动作定位结果。本发明可以提高弱监督时间动作定位的准确性。
技术关键词
对象识别
动作定位方法
关键帧
注意力
视频
问答模型
特征提取模块
非暂态计算机可读存储介质
关系
处理器
文本
计算机程序产品
输出模块
存储器
电子设备