一种基于多模态联合训练网络的井下危险行为识别方法

本发明公开了一种基于多模态联合训练网络的井下危险行为识别方法，首先利用井下固定摄像头捕获RGB流视频以及生成相应的深度图数据，将其推流至后端设备，利用先进的姿态估计算法获取人体关键点坐标并将其保存为可读数据。骨骼数据一方面可以利用GCN模型进行骨骼数据行为识别，另一方面需要用骨骼坐标点生成相应的互补数据。MHP图的构建由深度图辅助RGB图生成，GOIS图由训练后的关节点权重辅助生成，分别由EfficientNet‑B7和ResNet‑18进行训练。本发明解决矿井下由于环境复杂，光线昏暗等恶劣环境条件造成的工作人员行为难以准确识别的难题。