一种基于运动矢量引导局部注意力的视频目标检测方法

本发明公开了一种基于运动矢量引导局部注意力的视频目标检测方法，在单帧检测模型基础上，利用视频帧间的时间相关性，通过相邻帧传播特征以增强当前帧特征。上述方法包括：使用递归融合的视频目标检测框架；通过运动矢量引导局部注意力对齐的方式进行特征对齐；采用Faster R‑CNN作为单帧检测模型。将Faster R‑CNN分为特征提取网络和目标检测任务网络，每个视频帧都需送入特征提取网络以提取视频帧特征，在时间维度上利用运动矢量引导局部注意力方式传播一个含有历史帧中语义信息的记忆特征，通过特征融合增强当前帧特征，每个视频帧的增强特征图既用于当前帧的检测，也为下一帧检测提供足够的语义信息和时间信息，实现了精度与速度的良好平衡。