基于多模态信息的复杂场景下唤醒词识别方法及装置

本公开提供了一种基于多模态信息的复杂场景下唤醒词识别方法及装置，其中，方法包括三个步骤：步骤一：语音信号中潜在唤醒词语音片段的检测；步骤二：基于潜在唤醒词语音与对应场景视频信息的目标说话人识别；步骤三：结合潜在唤醒词语音与目标说话人唇动视频的唤醒词语音识别。利用本公开的方法，可以提高多人、嘈杂等复杂场景下识别唤醒词的能力。