摘要
本申请涉及一种手语翻译方法、装置、计算机设备及存储介质,方法包括:获取待处理的多模态手语数据;将所述多模态手语数据输入预设的预训练神经网络中;利用所述预训练神经网络对所述多模态手语数据进行特征提取,得到视觉特征和运动特征;基于预设注意力机制对所述视觉特征和所述运动特征进行动态融合处理,得到多模态融合特征;对所述多模态融合特征进行动态序列建模,得到手语特征序列;对所述手语特征序列进行编码和解码处理,得到目标语言文本。本申请能够更全面、更智能地理解手语的复杂语义,提高手语翻译的准确性。
技术关键词
手语特征
运动特征
视觉特征
手语翻译方法
训练神经网络
多模态
融合特征
注意力机制
数据
面部关键点
序列
计算机设备
手语翻译装置
传感器
解码器
文本