基于SMPL模态分解与嵌入融合的多模态步态识别方法

本发明属于深度学习技术领域，具体涉及一种基于SMPL模态分解与嵌入融合的多模态步态识别方法，包括下列步骤：构建融合SMPL模型和轮廓的多模态步态识别模型DFGait；提出自适应帧关节注意力模块，在SMPL姿势分支中自适应地提取步态序列关键帧的重要关节信息；提出模态嵌入融合模块，通过在统一的语义空间中对齐并融合SMPL模型特征与轮廓特征，实现两种模态信息的高效融合；使用结合了三元组损失、交叉熵损失和模态一致性损失的联合损失函数，共同监督DFGait模型的训练。本发明将SMPL人体模型进行分解，充分提取了SMPL模型包含的动态姿势和静态形状两方面的步态信息。通过自适应帧关节注意力模块进行分支优化，实现步态信息更精细的时空特征提取。