一种基于多重一致性的跨模态说话人提取方法及系统

本发明提供了一种基于多重一致性的跨模态说话人提取方法及系统，获取包含目标说话人数据的混合语音信号和视频数据；对获取的混合语音信号进行音频编码，得到音频特征；对获取的视频数据进行一致性视觉特征提取，得到与目标语音在内容一致和身份一致的两种视觉特征；将内容一致的视觉特征和音频特征融合，对融合后的特征在嵌入Mamba的跨模态系统中进行说话人提取，得到分离出来的语音；使用身份一致的视觉特征对分离出来的语音进行身份约束，得到最终提取结果，本发明不需要额外的文本标记数据集来进行预训练，且能够有效利用视觉线索中的与语音内容对应的信息以及说话人的身份信息。