基于记忆的多模态融合网络的多场景视频异常检测系统及方法

本发明公开了一种基于记忆的多模态融合网络的多场景视频异常检测系统及方法，涉及视频分析技术领域。所述系统包括：编码器，用于分别将输入视频帧和光流图转换为向量表示的特征；多模态融合模块MMF，用于融合通过编码器获得的静态RGB特征和动态光流特征，根据当前场景特征自适应调整静态RGB特征和动态光流特征的权重；解码器，用于接收自适应融合后的静态RGB特征和动态光流特征，预测原始视频片段和初始光流片段的下一帧。所述系统通过充分利用模态之间的互补信息，提升了模型的泛化能力与鲁棒性。