一种融合呼吸气流数据的多模态唇语识别方法和装置

本发明公开了一种融合呼吸气流数据的多模态唇语识别方法和装置，方法包括：获取发音动作视频信号和呼吸气流信号；对发音动作视频信号进行第一预处理，得到发音动作视频；对呼吸气流信号进第二预处理，得到呼吸气流数据；对发音动作视频进行视觉特征提取处理，得到唇动特征；对呼吸气流数据进行成分分析处理，得到频率成分和强度成分；根据频率成分和强度成分，对呼吸气流数据进行气流特征提取处理，得到气流特征；对唇动特征和气流特征进行多模态融合处理，得到融合特征；将融合特征输入到唇语识别模型，得到唇语识别结果。本发明实现了多模态唇语识别，提高了准确率和适用性。本发明可广泛应用于人工智能视觉语音识别技术领域。