基于多模态神经网络框架的人体姿态识别方法

本发明涉及计算机视觉和神经网络处理技术领域，尤其涉及一种基于多模态神经网络框架的人体姿态识别方法。包括：采集事件数据，利用五通道事件表示方法表示事件数据；将预处理后的五通道事件数据分为三个通道，空间、事件特性和点云通道；完成通道拆分后，分别进行特征提取，通过动态特征增强以及跨模态融合，将不同模态的特征进行优化和整合；采用骨架约束模块和时空联合处理模块，增强网络对人体结构的理解和时空依赖关系建模；采用预测头模块，输出最终的人体关键点坐标；采用多任务学习框架进行训练优化，得到姿态识别结果。优点在于：有效地处理事件数据的稀疏异步特性，解决静态肢体的“盲点问题”，保持低功耗、实现高精度的人体姿态估计。