基于多模态融合的围栏跨越行为检测方法

本发明公开一种基于多模态融合的围栏跨越行为检测方法，获取人跨越围栏行为单目RGB图像数据集，区分正常行人围栏行为和异常跨越行为；构建并训练围栏跨越行为检测网络，收到单目RGB图像后，使用语义分割模块判断人与围栏发生明显重叠；单目深度估计模块判断人与围栏的距离，避免误判；使用异常行为检测模块单目RGB图像和事先学习到的“正常”行为的特征分布进行对比，判定该行为是是否异常，利用信息融合模块将人与围栏的重叠信息、人与围栏的距离信息以及是否是异常行为的判断信息进行融合分析。本发明采用计算机视觉技术和机器学习技术，采用所述的人与围栏的重叠信息、人与围栏的距离信息以及是否是“异常”行为的判断信息进行融合分析，从而实现对人围栏跨越行为的全天候自动化监测。