基于多尺度多模态对齐网络的目标说话人提取方法及系统

本发明公开了基于多尺度多模态对齐网络的目标说话人提取方法及系统，涉及目标说话人提取技术领域。本发明构建了多尺度多模态对齐网络来进行目标说话人提取，其一方面通过多尺度编码来获取不同时间尺度的语音嵌入、并通过多方向深度编码提取出更加丰富的语音嵌入；另一方面，引入了基于对比学习的模态对齐部，使其在网络训练时在同一时间步长上最小化脑电特征与语音嵌入之间的距离、并构建出噪声对比估计损失以配合基于语音解码部输出而构建的尺度不变信号失真比损失组成整个网络使用的损失函数，不仅实现了跨模态数据的对齐、并降低多模态融合的难度，而且实现了对网络整体参数的调整，保证并提高了网络进行目标说话人提取的整体性能。