多模态数据融合的工业安全异常检测方法、设备和介质

本发明提供一种多模态数据融合的工业安全异常检测方法，包括：采集多模态数据，设计双流时空神经网络，提取多模态数据中的视频流时空特征，构建时序因果卷积网络提取多模态数据中的传感流时序特征，并嵌入设备拓扑位置编码，通过交叉注意力机制动态校准视频流特征与传感流特征，得到校准后的视频流特征和传感流特征；构建特征抽象层级，根据特征抽象层级提取所述频流特征和传感流特征的单层级抽象特征，采用双向特征金字塔网络将不同层级的特征进行跨尺度特征交互融合，得到融合特征；将融合特征输入知识图谱进行推理，输出异常置信度，根据异常置信度与环境参数，强化学习模型生成异常判定阈值。