摘要
本发明涉及一种手语识别方法和装置,属于计算机视觉和语音信号处理技术领域,其中,该方法用于基于手语识别模型进行手语识别,手语识别模型包括特征提取模块、特征融合模块和识别模块;该方法包括:通过特征提取模块从获取的手语视频中提取手语者的动作部位图像特征和语音特征;通过特征融合模块将动作部位图像特征和语音特征进行融合,得到融合特征;通过识别模块对融合特征进行识别,得到手语识别结果。本发明通过手语识别模型对结合了手语者的动作部位图像特征和手语者的语音特征的融合特征进行识别,可以充分理解手语者的意图,提高手语识别的准确性。
技术关键词
手语识别方法
语音特征
特征提取模块
融合特征
残差卷积神经网络
图像
识别模块
空间金字塔池化
长短期记忆网络
语音信号处理技术
视频
手语识别装置
动态时间规整算法
多模态注意力
注意力机制
融合功能
解码器
计算机视觉