一种基于深度学习的手语翻译方法及系统

本发明公开了一种基于深度学习的手语翻译方法及系统，涉及深度学习领域，包括采用轻量级深度学习模型对获取的手语视频中基于左手、右手、脸部以及整体的人体关键点进行识别，获取关键点信息；构建多流关键点注意力模型，包括四个关键点注意力网络；根据关键点信息，获取关键点序列，将关键点序列解耦为左手流、右手流、面流和全身流，通过四个关键点注意力网络，分别对左手流、右手流、面流和全身流进行相关性分析，确定左手流、右手流、面流和全身流对应的关键点特征；对关键点特征进行池化和融合，生成手语中间注释；将手语中间注释输入训练后的mBART大语言模型，获取翻译文本，有效提高了手语翻译速度。