人员行为检测方法、控制器、人员行为检测系统和变电所

本发明公开了一种人员行为检测方法、控制器、人员行为检测系统和变电所，涉及人员行为检测技术领域，其中，人员行为检测方法用于变电所，包括获取所述摄影组件捕获到的视频数据；将所述视频数据输入至预先训练的多模态特征生成模型，所述多模态特征生成模型包括视觉编码模块、语义编码模块和译码模块。通过视觉编码模块、语义编码模块提取视频数据中的图像特征和语义特征，并通过译码模块组合所述图像特征和语义特征，以用作多模态特征信号的输出，该多模态特征信号用于表征变电所内的人员行为处于异常状态或者正常状态。如此，通过组合图像特征和与之对应的语义特征，可以提升人员行为检测方法的鲁棒性，进而提升检测的准确性和可靠性。