基于唇动和语音融合识别的语音交互方法、系统及垃圾车

本发明涉及一种基于唇动和语音融合识别的语音交互方法、系统及垃圾车，包括以下步骤：采集高清唇动图像，并对所述唇动图像进行预处理和唇部区域定位，得到唇部图像序列；采集语音信号，并对所述语音信号进行降噪处理，得到降噪后的语音信号；提取所述唇部图像序列的唇动特征，并提取所述降噪后的语音信号的语音特征；分别对所述唇动特征和所述语音特征进行识别，得到唇动识别结果和语音识别结果；对所述唇动识别结果和所述语音识别结果进行融合，生成最终的操作指令；基于操作指令执行对应操作。本发明能够显著提升高噪音环境下的识别准确率。