基于无人机采集多模态数据融合的人体行为识别方法

本发明提供了一种基于无人机采集多模态数据融合的人体行为识别方法，包括如下步骤：将关节Tokens与同帧的使用空间Transformer完成特征提取后的空间CLS Tokens拼接，得到特征融合模块；基于人体解剖学结构对关节点序列进行结构编码，构建人体拓扑结构关联模块；构建时序交叉Transformer模块；空间Transformer、特征融合模块、人体拓扑结构关联模块、时序交叉Transformer模块进行堆叠得到主干特征提取网络采用10层主干特征提取网络对输入的前期融合数据和特征融合数据进行深层特征提取并使用分类头进行分类，将主干网络输出的特征映射到与行为类别数量相同的维度，并为每个类别输出一个预测分数，根据预测分数得到人体行为识别结果。该方法可以有效识别无人机采集多模态数据中的人体行为。