一种基于多模态特征融合的手势识别方法及手势识别系统

本发明涉及一种基于多模态特征融合的手势识别方法及手势识别系统，构建改进的多模态特征融合网络，获取对应时刻的历史多模态特征，输入改进的多模态特征融合网络进行训练；获取对应时刻的多模态特征，输入训练后的网络，获得手势识别结果；系统以图像传感器获取包含手部的图像，以配置有肌电传感器的手部穿戴设备获取手部的肌电信号，以环境照度传感器获取环境亮度信息，配置控制器在手势识别时执行方法。本发明获取包括但不限于以肌电传感器提供的肌电特征，与图像特征多模态融合，多角度获取手势特征，解决单一图像识别时对外部环境敏感、手部易遮挡的问题，克服单一模态手势识别的缺点，提高手势识别的准确性，特别是遮挡情况下的准确性。