摘要
本发明公开了一种基于多模态大模型的电网安监视频分类方法、装置、终端设备及存储介质,涉及人工智能与机器学习领域,方法包括:获取电网安监视频数据、设备运行数据以及环境数据;对数据进行预处理,提取电网安监视频数据中的关键帧;将关键帧、归一化的设备运行数据以及归一化的环境数据输入到训练好的多模态大模型中,通过多模态大模型提取出关键帧的全局特征向量、设备特征向量以及环境特征向量;将各特征向量进行融合得到多模态特征向量;通过训练好的多模态大模型的分类模块进行分类,得到电网安监视频数据的分类结果。通过实施本发明能够解决现有电网安监技术准确性差难以实现对电网安监视频精准分类的问题。
技术关键词
视频分类方法
设备运行数据
关键帧
视频分类装置
特征提取网络
多模态特征
数据获取模块
像素点
注意力机制
终端设备
安监技术
光流法
参数
处理器
样本
系统为您推荐了相关专利信息
数据管理系统
视频帧
社区监控
视频监控单元
监控设备
陶瓷盆
深度学习网络模型
特征提取网络
指数加权移动平均值
滤波器
矫正
高层语义特征
多粒度特征
特征提取网络
多任务