一种基于知识-数据双驱动的关联建模方法与系统

本发明涉及一种基于知识‑数据双驱动的关联建模方法与系统，先获取视频监控数据、传感器数据以及领域安全规范知识，分别进行帧提取与特征提取、时间序列标准化处理以及结构化表示与编码；再分别提取视觉特征、时间序列特征，语义特征得到安全知识特征；使用超图神经网络对多模态数据及其与安全知识的高阶关联进行建模；将多模态特征与安全知识特征输入所述超图神经网络，通过超图卷积操作实现多模态数据与安全知识的深度融合，生成统一表征空间；构建安全隐患识别模型，通过安全隐患识别模型对复杂场景下的安全隐患进行精准识别与实时监测。解决了多模态数据的异构性与模态间语义鸿沟问题，提高了安全隐患识别的精度与实时性。