基于跨模态一致性和时序多粒度协作的视听事件定位系统和方法

本发明公开了基于跨模态一致性和时序多粒度协作的视听事件定位系统和方法，涉及计算机视觉技术领域，单模态特征编码模块获取视频和音频的单模态特征；跨模态一致性协作模块由多个多模态协作层堆叠构成，每个多模态协作层均包括视觉引导模块和音频引导模块，视觉引导模块和音频引导模块均由跨模态交互分支和时序一致性分支构成，将每个多模态协作层输出的视频特征和音频特征进行拼接得到多粒度时序特征；时序多粒度协作模块将多粒度时序特征进行从粗粒度到细粒度的时序协作和从细粒度到粗粒度的时序协作；解码模块通过时序双向协作增强后的特征预测事件类别和事件时间。本发明可用于长序列的视听视频的处理、分析和定位。