基于3D姿态重建与LSTM的交警手势识别方法及系统

本发明公开了一种基于3D姿态重建与LSTM的交警手势识别方法及系统。本发明首先对交通警察指挥手势视频进行骨架关键点的提取，获取与手势识别相关的多个关键点；然后构建姿态重建网络，对提取的关键点进行姿态估计，姿态重建网络包括多个处理模块，每个模块用于构建关节的姿态，并通过特征融合层将输入的姿态特征与估计的姿态特征进行融合，输出完整的姿态估计结果；最后将姿态重建网络输出的姿态信息输入到序列建模网络中，通过序列建模网络对交通警察指挥手势的动态序列进行建模，识别动态手势的语义含义，完成手势识别。本发明采用网络显式建模关节空间依赖与时间连续性，通过并行化时空特征学习，有效克服交警身高差异及复杂光照的干扰。