基于融合注意力的无注释手语翻译方法

本发明公开了一种基于融合注意力的无注释手语翻译方法，包括以下步骤：获取手语视频和与手语视频对应的手语口语文本；基于Transformer架构构建初始手语翻译模型，并仅通过手语视频和手语口语文本对初始手语翻译模型进行训练，获得无注释手语翻译模型；在训练过程中计算伪注释内部注意力和伪注释间注意力，并融合两者，同时引入对比损失联合交叉熵损失训练模型；通过手语翻译模型对待翻译手语视频进行翻译，获得口语文本输出。本发明在无注释手语翻译方面取得了效果提升，相较之前的手语翻译方法具有更高的准确性和应用潜力。