摘要
本发明公开了基于多模态大模型的场景监测方法、装置、设备及介质,包括获取目标场景的第一视频流,根据第一视频流确定对应的视频帧图像集;将视频帧图像集输入到端侧部署的多模态大模型,得到对应的视频场景描述信息,进而将第一视频流和视频场景描述信息上传到云平台;根据视频场景描述信息在云平台匹配对应的视频场景识别模型,并根据视频场景识别模型对第一视频流进场景识别,得到场景识别结果;根据场景识别结果对视频场景描述信息进行调整,并根据调整后的视频场景描述信息判断是否发出告警。本发明提高了场景监测的效率和准确性,可广泛应用于视频监控技术领域。
技术关键词
视频场景识别
视频流
视频帧
识别模型库
多模态
监测方法
云平台
图像
语句
视频监控技术
决策
识别模块
处理器
键值
电子设备
数据总线
存储器
程序