一种基于人类嘴部运动的语言识别方法以及装置

本发明公开了一种基于人类嘴部运动的语言识别方法以及装置，属于语言识别领域，通过采集用户嘴部运动过程中的面部和颈部的肌肉活动的电信号以及嘴部运动过程中面部图像；对肌电信号以及面部图像进行特征提取，将肌电信号特征与面部运动特征进行多模态融合，构建联合特征向量，捕捉静默语音的肌肉活动与口部动作之间的内在关联；基于Transformer网络构建多模态静默语音识别模型，识别对应的语音内容；基于NLP的模糊语言处理，生成完整的句子输出，通过上述步骤，本发明基于人类嘴部运动的语言识别方法能够识别静默方式表达的语音，避免环境干扰，有利于发音障碍人群使用，有利于通信的保密性。