一种基于多尺度图卷积网络的时序动作检测方法

本发明公开了一种基于多尺度图卷积网络的时序动作检测方法，属于计算机视觉领域，包括：使用I3D网络对视频进行特征提取；使用CNN网络对提取到的视频特征进行进一步细化；将细化后的视频特征送入到图金字塔模块中进行下采样获取不同尺度的视频特征，分别对各个尺度的视频特征进行时间边、相似边以及空间边的建模，建模后对视频特征进行图卷积来聚合当前尺度视频特征的上下文信息；将进行图卷积之后的视频特征送入到分类头和回归头进行预测；综合不同尺度的动作预测结果得到最终的时序动作检测结果。本发明能够实现对视频中动作单元进行更加充分地建模，有效利用了动作单元的时间空间关系，进而大幅提升了时序动作检测的准确度。