一种基于Mamba2和双向特征金字塔的视频时序动作检测方法

本发明提出了一种基于Mamba2和双向特征金字塔的视频时序动作检测方法，包括以下步骤：(1)通过预训练的特征提取器从输入视频序列中提取特征；(2)构建基于Mamba2和双向特征金字塔的时序动作检测模型，堆叠L个基于Mamba2的模块构成双向特征金字塔网络，对输入的视频特征进行编码，提取关键信息；(3)将输出的多尺度特征送入到回归头和分类头中，解码获得检测结果，即输入视频中动作实例的类别标签、开始时刻和结束时刻。本发明通过使用Mamba2模型以及双向特征金字塔网络，有效提高了检测不同时间尺度动作的能力以及减小了计算复杂度。