一种基于深度学习的实时手语识别系统及装置

本发明提供一种基于深度学习的实时手语识别系统及装置，涉及视频识别技术领域。该基于深度学习的实时手语识别系统及装置，利用摄像头获取实时的手语RGB视频，将视频进行抽帧，把抽帧剩下的图像进行图像预处理，将处理后的数据输入Mediapipe网络进行关键点检测，之后将检测的关键点数据输入Transformer网络进行手语分类。该系统有实时性、识别率高等特点，能够实时检测人体关键点并进行手语识别，手语识别系统可以将手语动作转化为可理解的文字或语音信息，从而帮助聋哑人士与非手语用户进行无障碍的交流，具有广泛的应用前景，可部署在聋哑学校、商场、医院等地方辅助听障人士交流。