摘要
本发明涉及一种驻站联络员异常行为检测方法、装置、设备、介质和程序,方法包括:利用预设摄像头采集驻站联络员预设时长的连续帧数据,利用预先训练的人员跟踪检测模型根据所述连续帧数据获取分类人员图像集合,提取所述分类人员图像集合的图像融合特征信息,获取根据所述分类人员图像集合对驻站联络员进行行为描述的行为描述文本,通过编码获取所述行为描述文本的行为文本特征,根据所述图像融合特征信息以及所述行为文本特征优化预先训练的多模态大模型,得到异常行为检测模型,实时获取驻站联络员的监控视频数据,利用所述人员跟踪检测模型以及所述异常行为检测模型根据所述监控视频数据对驻站联络员进行异常行为检测,得到异常行为检测结果。
技术关键词
融合特征
文本
图像块
多模态
视频
编码
分词
特征提取模块
计算机程序产品
数据采集模块
处理器
计算机设备
序列
可读存储介质
存储器
参数
系统为您推荐了相关专利信息
图像特征向量
表情分析方法
卷积神经网络模型
面部关键点
表情特征
预训练语言模型
单细胞转录组数据
联合分析方法
文本
多模态
档案管理方法
深度学习模型
语义
Softmax函数
类别预测模型
医疗图像处理方法
CT影像数据
多模态
CT扫描图像
医疗辅助诊断技术