一种基于多模态行为模式视频监控预警方法和系统

本发明提供一种基于多模态行为模式视频监控预警方法，包括以下步骤：根据视频流，提取多模态数据，进行预处理，并将预处理后的多模态数据进行对齐和融合，所述多模态数据包括RGB帧、光流场、人体骨骼关键点、场景语义分割图；将融合的多模态数据进行短时行为模式特征，建立行为模式库以及场景行为基线构建；基于在线学习更新动态行为模式库，结合时间衰减因子降低历史数据权重，并根据当前场景复杂度调整异常判定阈值；根据异常判定阈值进行多级预警，并反馈优化；本发明方法提供一种能够自动学习场景行为模式、动态调整预警阈值，并融合多维度特征分析的智能视频监控预警方案，解决现有技术误报率高、适应性差的问题。