摘要
本发明公开了一种基于文本描述的视频事件特征聚类方法,包括:获取训练数据集,并分别经过两种预训练模型从所述训练数据集中提取视频数据集的时空特征与物品外观特征,对时空特征与物品外观特征融合后得到预训练视频特征;对一批输入的预训练视频特征,通过自适应图卷积网络得到异常预测得分,并对中间层特征应用跨批聚类策略得到正常视频的聚类中心以及异常视频的聚类中心;根据所述正常聚类中心、所述异常聚类中心和异常预测得分代入预设损失函数以使损失值达到预设阈值时停止训练得到训练好的弱监督视频异常检测模型;将所述待检测视频数据输入至训练好的弱监督视频异常检测模型以进行检测得到异常检测结果。
技术关键词
事件特征
视频
物品外观
聚类方法
异常事件
预训练模型
初始聚类中心
特征提取网络
语义特征
代表
样本
数据
中间层
度函数
聚类系统
文本编码器
图像编码器