摘要
本申请涉一种基于多模态融合的安防摄像头异常行为识别方法及系统,其包括:通过获取安防摄像头在目标监测周期内的可见光图像数据、红外图像数据和音频信号数据等多模态数据;对不同模态的数据分别进行特征提取,得到各自的特征向量集合;对各模态的特征进行融合,并在多模态特征融合过程中,采用根据各模态特征向量的置信度权重动态调整融合权重的加权融合算法;将融合特征向量集合输入到异常行为分类模型中进行分类并预警;该方案可以提升复杂环境中异常行为识别的准确性和有效性,进而提升安防监控的整体效能。
技术关键词
可见光图像
加权融合算法
噪声强度
数据
样本
音频
识别方法
序列
多模态特征融合
监控终端
交叉验证方法
因子
周期
偏差
信号
整体效能