摘要
本发明公开一种基于人工智能的异常视频检测方法、系统及终端,涉及电子信息技术领域。检测方法包括:将原始视频转换为帧序列,获得每一帧图像的高维特征向量;提取原始视频的文本特征,获得文本特征向量;采用Late Fusion方法及交叉模态注意力机制对高维特征向量及文本特征向量进行特征融合,获得多模态特征序列;采用多层Transformer编码器对多模态特征序列进行特征处理,获得处理后的特征序列;对处理后的特征序列进行后处理,获得异常信息值;配置异常信息阈值,当异常信息值大于异常信息阈值时,判断为异常视频;当异常信息值小于等于异常信息阈值时,判断为非异常视频。本发明能够充分利用多模态信息,优化特征融合结果,提高检测性能。
技术关键词
视频检测方法
高维特征向量
文本特征向量
异常信息
多模态特征
序列
注意力机制
编码器
Softmax函数
视频检测系统
图像
多模态信息
电子信息技术
人工神经网络
参数
梯度下降法
系统为您推荐了相关专利信息
视线预测方法
视频帧编码器
视频特征向量
视角
动态
可信度评估方法
动态贝叶斯网络
多模态特征
跨模态
跨节点
多智能体系统
安全性检测方法
多模态特征
文本
图像
多模态特征融合
遥感图像分类方法
斯皮尔曼等级相关系数
特征工程
特征提取单元