基于云边协同和X-CLIP模型的地铁摔倒检测方法和系统

本公开提供了基于云边协同和X‑CLIP模型的地铁摔倒检测方法和系统，涉及地铁摔倒检测技术领域，获取地铁内实时视频流，将视频流数据解析为帧图像数据和视频流数据；将帧图像数据输入至YOLOv8n‑c3xghost神经网络模型中，得到所有的人体目标区域检测框；对人体目标区域检测框通过BoT‑SORT目标追踪算法进行识别检测，得到异常行为的候选图像；将所述异常行为的候选图像输入至X‑CLIP模型，输出候选图像的异常区域片段分类结果，对异常区域片段再进行识别，根据摔倒概率大于设定阈值确定摔倒行为，输出摔倒行为发生的位置坐标以及对应的原始图像并报警；其中，模型在云端部署模型并训练，经过压缩封装后下沉到边缘侧，在边缘侧实现实时的视频帧检测。