一种多模态喉部振动信号与唇部动点数据的语音解码识别方法及系统

本发明公开了一种多模态喉部振动信号与唇部动点数据的语音解码识别方法及系统。本发明通过采集发声时的喉部振动信号解码声调与中文四声，采集发声时的唇部动点数据解码声韵母与音节，两者结果进行多模态融合，并将结果送入到大语言模型中，最终大语言模型输出识别文字。相较于传统的面颈部生理信号语音解码方法，本发明语音识别方法，具有适合长期监测，符合语言学的音节构成原理，受语料库影响小，泛化能力强，与单模态无法实现的单字符级别的识别精度与准确度等特点。