面向室内安防监控视频场景的开放词汇群体行为检测方法

本发明提供一种面向室内安防监控视频场景的开放词汇群体行为检测方法，属于视频动作识别领域。步骤如下：S1：收集并处理室内场景监控视频，获取含人有效视频片段，获得各有效视频片段的三元标注结果<视频，文本，标志>；S2：对视频每一帧和对应的文本，利用CLIP预训练模型的Swin‑B、BERT结构分别作为图像、文本编码器；Swin‑B和BERT参数均更新且用正则项约束，最终确定图像‑文本编码器；S3：构建、训练并确定开放词汇群体行为检测模型；S4：输入实际监控视频至开放词汇群体行为检测模型获得每个群体的行为类别。本发明能同时实现对室内安防监控视频中的每个人员识别出其属于哪个群体，并同时对每个群体的行为都进行分类，还能满足开放词汇检测需求。