基于时空语义建模与跨模态协同的多模态步态识别方法

本申请涉及一种基于时空语义建模与跨模态协同的多模态步态识别方法，该方法将骨架能量图、轮廓能量图、轮廓图和骨架图输入到四个结构相同的特征提取分支中，得到四个模态特征、每个模态的两个阶段特征；将每组跨模态组合的两个阶段特征输入到双阶段特征交互增强模块中，得到跨模态融合特征；将所有模态特征和跨模态融合特征进行映射、池化后输入到分类头中，得到多模态步态识别结果。该方法有效聚焦于不同视角和行走条件下的关键特征，保留局部通道信息的完整性，通过多个分支对时空信息进行建模，提取高层次语义特征，精准捕捉不同视角和行走条件下步态的时空变化，将不同模态数据的特征进行融合，提升多视角和不同行走条件下步态识别的性能。