基于Mamba架构的实时在线动作检测方法

本发明提供了基于Mamba架构的实时在线动作检测技术，包括：S1，训练数据获取，获取目标场景中多个视角的视频流；S2，数据预处理，基于预训练的二维卷积神经网络，从视频流中提取视频特征；S3，引入MambaOAD框架，该框架由动作检测模块和未来预测模块构成；S4，构建动作检测模块，通过线性投影层映射到特征空间，线性投影层通过可学习的权重矩阵，将输入特征转换到D维；S5，构建未来预测模块，基于动作检测模块输出的短期潜在特征，对未来潜在特征进行预测。S6，模型训练与推理，在训练过程中，对相关模块进行联合优化。使用mAP与mcAP指标衡量在线动作检测精度，使用FPS与GFLOPs指标衡量模型推断的复杂度。本发明提高了动作检测的准确性和鲁棒性。