基于多模态深度学习的工业车间安全生产行为识别方法

本发明提出基于多模态深度学习的工业车间安全生产行为识别方法，方法包括：获取工业车间的多模态数据；对所述多模态数据进行特征提取并加权融合，生成融合特征向量；对融合特征向量进行特征增强，得到增强特征；使用时序差分卷积网络对所述增强特征进行时序特征提取，生成工人行为分类的结果和风险预测的结果；采用对称加密与非对称加密对所述工人行为分类的结果和风险预测的结果进行加密；根据所述加密后的工人行为分类的结果和风险预测的结果构建联邦学习框架；利用所述优化后的全局模型对所述实时工人行为分类的结果和实时风险预测的结果进行合规性检测，判断工人的行为是否符合车间的安全生产规范，生成对应的风险级别与报警响应。