摘要
本发明涉及一种异常行为的检测方法、系统、设备和介质。方法包括:获取待识别的视频,并从视频中依序提取出多个视频帧;其中,每个视频帧均携带有对应的时间标识;将各个视频帧和预设的行为描述集输入至多模态大语言模型,对输入的视频帧和行为描述集进行多模态融合,识别出各个视频帧中存在的异常行为;其中,行为描述集用于指示需检测的异常行为;将各个视频帧中的异常行为依据生成顺序排列,与对应的时间标识共同输入至行为分析模型,检测出视频中存在的异常行为;其中,行为分析模型为基于Transformer的时序模型。本发明改善了现有技术仅使用单一模态分析法,导致异常行为识别率不高的问题,实现了异常行为的精准识别。
技术关键词
大语言模型
视频帧
多模态
矩阵
编码
视觉特征
标识
注意力机制
序列
模态分析法
融合特征
电子设备
依序
时序
计算机
处理器
存储装置
可读存储介质
系统为您推荐了相关专利信息
岩体结构面
智能化识别方法
局部特征提取
高维特征向量
空间分布特征
路径损耗模型
宏基站
矩阵
Delaunay三角剖分
基站动态休眠