基于多模态骨架特征融合的单人异常行为识别方法及系统

本发明公开一种基于多模态骨架特征融合的单人异常行为识别方法及系统，S1:采集监控视频中连续的RGB图像与红外热成像图像，采用YOLOv12结合Transformer的多模态融合模型，对可见光与红外图像进行人体检测与关键点估计，构建单人姿态时序数据集；S2：对每个目标人员的连续骨架帧序列计算关键点速度向量，将骨架关键点信息与速度信息进行融合，形成动作特征序列；S3:将动作特征序列输入MPED‑RNN模型，将骨架运动分解为全局位移分量与局部姿态变形分量，通过双通道GRU网络进行联合编码、解码与预测；S4:根据重构结果与未来骨架关键点预测结果计算预测误差与重构误差评估当前行为是否偏离正常轨迹，判断当前行为是否为异常状态。本发明实现了复杂场景下单人异常行为的实时识别。