无监督混合音频跨模态分离方法、系统、设备及存储介质

本发明公开了无监督混合音频跨模态分离方法、系统、设备及存储介质，方法包括：视频内声源物体检测，采用目标检测算法提取视频中的目标物体和视觉特征；音视频数据预处理；跨模态音视语义对齐学习，包括音频视频语义一致性学习和音频视觉交叉注意力学习；无监督混合音频初步分离，获取若干分离后的音频信号；独立对抗学习，构建信号库，设置损失函数来拉近音频解码器生成信号的联合分布与随机抽选信号库中的样本之间联合分布的差异，以训练U‑Net音频解码器生成相互独立的分离音频信号；视觉指导的无监督音频分离。本发明方法基于独立对抗学习，兼顾混合音频分离后产生的单一音源的独立性和音源之间的呼应关联性，实现无监督混合音频分离。