一种基于改进Transformer模型的实时手语识别系统

本发明公开了一种基于改进Transformer模型的实时手语识别系统，包括数据预处理模块、特征提取模块和手语翻译模块；数据预处理模块通过帧间差分法实时提取手语视频关键帧，并用YOLOv5算法进行人物识别和图像分割；特征提取模块利用Mediapipe模型检测并提取手部骨骼与嘴型特征，随后进行数据增强和归一化处理，得到特征集；手语翻译模块则通过知识蒸馏改进Transformer模型，将其作为教师模型，同时预训练CNN和RNN作为学生模型，接收特征集进行翻译；本系统能够有效的减少了复杂背景和光照条件的干扰，显著提升了手语识别在实际应用中的鲁棒性。