基于多层带权残差自注意力和LSTM的手语手势序列识别方法

本发明涉及深度学习技术领域，尤其是提供了基于多层带权残差自注意力和LSTM的手语手势序列识别方法。该方法包括构建并获取优化后的手语手势序列识别模型；通过访问开发的前端网页，以及通过摄像设备采集手语和手势序列视频，并将其传回至服务器进行处理，获得处理后的手语和手势序列信息；将处理后的手语和手势序列信息输入优化后的手语手势序列识别模型，得到识别结果；并将识别结果传回至前端网页，以文本和语音的形式呈现，该方法通过改进模型算法，使用多层带权残差自注意力网络和轻量LSTM实现连续手语和双手手势序列识别，提高了手语手势识别的普及性，降低了操作的复杂性，并请扩大了听障患者的适用范围。