基于深度学习的人类口型与语音匹配识别方法

本发明提供基于深度学习的人类口型与语音匹配识别方法，图像识别周围环境所有人员各自的说话口型特征，通过拾音器阵列识别周围环境的声源位置和音频特征；根据说话口型特征，修正声源位置，以此对音频特征进行分离，得到每个人员下属的音频特征；对每个人员的音频特征和说话口型特征进行深度学习，得到每个人员发出的语音信息；对语音信息进行背景噪声处理，得到每个人员的说话语音及其文本内容；通过视觉和声音识别方式将嘈杂环境下周围人员进行标识并对其语音进行记录转化，有效解决助听器在远场识别中的“鸡尾酒会问题”，有效抑制声音干扰和提高语音识别精确度与清晰度。