一种基于多模态信息的连续手语识别方法及系统

本发明公开了一种基于多模态信息的连续手语识别方法及系统，该方法包括下述步骤：构建连续手势数据集，每个连续手语样本包括RGB视频、sEMG信号和IMU信号，并且对连续手语样本进行句子级标签标注；对连续手语数据集进行数据预处理；基于CNN、BiLSTM和CTC损失构建连续手语识别模型，并训练连续手语识别模型；基于训练后的连续手语识别模型识别连续手语。本发明采集RGB视频、IMU信号和sEMG信号，创建了多模态连续手语数据集，对连续手语数据集进行预处理和搭建基于CNN、BiLSTM和CTC的多模态信息融合模型，显著降低了词错误率，有效提升了连续手语识别的准确性和效率。