一种基于多模态的变电站作业安全校验方法和系统

一种基于多模态的变电站作业安全校验方法和装置，方法包括：提取视频流中的人体关键点的坐标，转换为时空骨架图；利用图像膨胀的形态学滤波和掩码信息获取人体轮廓，并通过神经网络生成背景区域的场景语义特征图；将时空骨架图与场景语义特征图通过Transformer架构转换为场景描述文本；通过句法依存分析来比较场景描述文本与工作票文本的相似度，对作业流程进行校验与核对。本发明模型结构设计精简、优化空间大，便于在多种应用场景下调整和部署。