基于协同注意力机制的视听显著性预测方法与系统

本发明提出一种基于协同注意力机制的视听显著性预测方法与系统，该方法包括：获得预处理后的帧图像和处理后的音频信号；将预处理后的帧图像通过视觉编码进行特征提取，得到高层视觉特征；基于处理后的音频信号得到初步的音频特征；将初步的音频特征通过音频时序提取器进行处理，得到音频显著特征；通过高层视觉特征和音频显著特征得到视觉‑音频融合特征和音频‑视觉融合特征；基于视觉‑音频融合特征和音频‑视觉融合特征得到对齐融合后的视听特征；基于对齐融合后的视听特征得到显著预测图。本发明采用逐帧策略融合视听特征，在时空上精确对齐了音视频特征，且不再依赖于视频数据集的预训练，最终准确的定位到显著目标。