基于多模态数据融合的人体运动姿态识别方法及系统

本申请公开了一种基于多模态数据融合的人体运动姿态识别方法及系统，涉及姿态识别技术领域，其首先同步获取人体运动姿势视频帧与IMU片段，接着，采用分路并行的方式对这两种异构数据进行特征提取，分别捕捉视觉的空间姿态信息和IMU的动态惯性特征。随后，将这些模态特定的特征通过混合Token化与嵌入机制进行统一表示，进一步引入了空间‑惯性协同注意力融合机制实现跨模态信息的动态关联与深度融合，最后将融合得到的的多模态融合表征向量进行分类以实现对人体运动姿态的精确识别。这样，能够克服传统融合对细微动作差异捕捉不足的缺陷，提升复杂场景下动作识别的精准度与稳定性。