基于多模态特征融合的毫米波雷达手语识别方法和系统

本发明提供了一种基于多模态特征融合的毫米波雷达手语识别方法和系统，本发明一方面利用同一人体关键点时间上紧密相关，不同人体关键点空间上紧密相关的特点，构建Transformer‑Pose网络，并利用跨模态监督的方式训练网络，将距离‑多普勒‑角度序列处理成精细的人体骨架信息，避免了低分辨率雷达图像产生信息冗余，造成手语识别网络准确率下降的问题；另一方面充分考虑了人体姿态信息和手部运动信息对手语识别的作用，将雷达回波数据处理为表征人体姿态信息的人体骨架数据，以及表征手部运动信息的多普勒数据，并将这些多模态数据的特征进行融合，得到手语识别的结果，减弱了姿势相近或运动趋势相近的手语之间的混淆，提升了手语识别准确率。