一种自适应语音增强与分离方法及系统

本发明公开了一种自适应语音增强与分离方法及系统，首先利用毫米波信号确定说话人位置，并从特定位置处提取毫米波振动特征用以表达用户语音行为特征，随后将混合语音与毫米波振动特征输入设计的多模态深度学习网络以实现清晰的语音增强与分离。本发明无需提前确定说话人数量，为增强与分离任务提供了统一框架，支持任意说话人数量的自动语音增强或分离；同时，本发明利用公开音频数据集，设计了跨模态数据生成方法并构建了多模态数据集，该数据集用于深度增强与分离网络的预训练。本发明取得了优异的语音增强与分离性能，具有广泛应用前景。