一种多模态人体动作识别方法

本发明涉及一种多模态人体动作识别方法，属于人体动作识别领域。通过ResNet152网络提取视频空间特征，Bi LSTM网络提取时间依赖特征，并进行特征编码。随后，利用改进的串联交叉注意力网络进行特征融合，其中交叉注意力模块采用随机脉冲滤波卷积矩阵进行初始化，将CNN的归纳偏差引入其中，提高模型数据有效性，使其更容易在小规模数据集上拟合。最终，融合特征通过全连接层和Softmax函数进行动作类别预测。本发明有效提升了多模态人体动作识别在小规模数据集上的性能，并增强了其普适性和通用性，适用于人机交互、监控视频、手势识别等多种场景。