一种目标人脸的语音分离方法、设备及装置

本申请公开了一种目标人脸的语音分离方法、设备及装置，涉及语音提取技术领域。方法包括：获取目标说话人的待分离语音视频，并提取待分离语音视频中的混合音频信息及目标说话人的人脸信息与嘴唇信息；通过预训练的多模态编码器中的视觉线索融合模块，对人脸信息与嘴唇信息进行处理，以获得视觉线索；基于视觉线索，通过多模态编码器中的语音分离模块，对混合音频信息进行语音信号分离，以获得目标语音。本申请通过上述方法实现了在视觉线索部分缺失、质量不佳的情况下，依然能够鲁棒、准确地提取目标说话人的语音。