一种基于全局-局部感知动作目标生成视频描述的方法

本发明公开了一种基于全局‑局部感知动作目标生成视频描述的方法，包括步骤：数据准备，给定一段视频，2D、3D‑CNN从视频中提取的多模态特征；区域特征的抽取，目标检测器从输入视频片段中提取局部区域特征；特征编码，组件提取编码器Cxe映射一个区域特征；特征解码，组件提取‑解码器Cxd然后生成词性标记，即主题、谓词、对象；最后，训练生成视频描述内容。本方法克服现孤立的视频帧可能会受到运动模糊或遮挡的影响的问题，提升了视觉特征到语义特征转化准确性，最大程度产生最优的视频字幕描述，更精准的描述动作行为。