一种基于多模态深度学习的手语识别方法及设备

本发明公开了一种基于多模态深度学习的手语识别方法及设备，包括：多模态数据输入：通过摄像头、动作捕捉传感器等设备同时捕捉手部动作、手势轨迹和面部表情，构成多模态数据输入；手语动作识别：通过深度卷积神经网络与长短期记忆网络的组合模型，实现对手语动作的精确识别；面部表情与手势轨迹结合识别：通过将捕捉的面部表情与手势轨迹相结合，实现对复杂手语句子的理解与翻译；上下文自然语言处理：结合上下文语义理解，生成目标语句，输出翻译结果。本发明通过手部动作捕捉、面部表情分析、手势轨迹跟踪及上下文自然语言处理，能够更精确地识别复杂的手语动作并实时翻译为文字或语音，做到了低延迟、高准确率。