一种基于多模理解的视听分割方法

本发明公开了一种基于多模理解的视听分割方法，具体包括：首先，分别通过视觉骨干网络和音频骨干网络提取视频图像特征和音频特征；然后利用视觉编码器对视觉特征进行深度解析，获取更深层次的视觉信息；接下来，利用视听混合模块融合视觉和音频特征，借助音频信息对目标对象特征进行强化；最后，利用多模态解码器匹配查询和最佳特征，并生成最终的分割掩码。本发明通过双塔结构模型增强了多模态语义信息的理解，并借助视听混合模块实现了模态互相监督强化，实现了更加高性能的视听分割。