摘要
本发明公开了一种基于CLIP模型的事件相机数据分类算法,包括如下步骤:S1:对N‑Caltech、DVS128 Gesture数据集进行划分;S2:构建了一个端到端的轻量化的事件相机数据分类模型End to End EventCLIP;S3:通过两个阶段训练方法对S2提出的模型进行训练:第一阶段,基于S1划分的数据集进行训练,训练所述特征适配器以生成事件数据的嵌入表示,并将其作为教师模型;第二阶段,利用所述教师模型去指导学生模型的训练,完成模型训练;S4:基于S3第二阶段训练完的模型对新数据预测。本发明通过将EventCLIP和Event Transformer相结合,将参数量压缩至Event Transformer量级(89M),同时参数量降低至1/4、推理延迟缩减至7/9,构建了动态感知场景高精度、低功耗的实时嵌入式部署框架。
技术关键词
数据分类算法
事件相机
对齐模块
生成事件
适配器
数据分类模型
教师
文本编码器
学生
保留特征
网络
预训练模型
重构模块
标记
时序特征
注意力机制
事件流
图像
系统为您推荐了相关专利信息
电流感应装置
延时定时器
开关控制装置
电源适配器
断电保护装置
智能日志
异常检测方法
实时日志
指纹
DBSCAN算法