多尺度时空交叉注意力驱动的人体行为识别方法

本发明提出一种多尺度时空交叉注意力驱动的人体行为识别方法，该方法包括：将关节模态、骨骼模态、关节运动模态和骨骼运动模态作为输入模态，输入多尺度时空交叉图卷积，得到最终的时空特征表示；将最终的时空特征表示与输入模态进行残差连接，得到残差连接后的特征，再将残差连接后的特征输入动态多尺度时间卷积；在动态多尺度时间卷积中，残差连接后的特征通过动态多尺度时间卷积处理，得到动态多尺度时间卷积的输出特征表示；基于最终的时空特征表示和动态多尺度时间卷积的输出特征表示得到各模态分支的预测结果；基于各模态分支的预测结果得到最终的预测类别。本发明提出了一种高效的计算框架，通过优化网络结构和推理过程，降低了计算成本。