一种基于CLIP模型的事件相机数据分类算法

AITNT
正文
推荐专利
一种基于CLIP模型的事件相机数据分类算法
申请号:CN202510839864
申请日期:2025-06-23
公开号:CN120655991A
公开日期:2025-09-16
类型:发明专利
摘要
本发明公开了一种基于CLIP模型的事件相机数据分类算法,包括如下步骤:S1:对N‑Caltech、DVS128 Gesture数据集进行划分;S2:构建了一个端到端的轻量化的事件相机数据分类模型End to End EventCLIP;S3:通过两个阶段训练方法对S2提出的模型进行训练:第一阶段,基于S1划分的数据集进行训练,训练所述特征适配器以生成事件数据的嵌入表示,并将其作为教师模型;第二阶段,利用所述教师模型去指导学生模型的训练,完成模型训练;S4:基于S3第二阶段训练完的模型对新数据预测。本发明通过将EventCLIP和Event Transformer相结合,将参数量压缩至Event Transformer量级(89M),同时参数量降低至1/4、推理延迟缩减至7/9,构建了动态感知场景高精度、低功耗的实时嵌入式部署框架。
技术关键词
数据分类算法 事件相机 对齐模块 生成事件 适配器 数据分类模型 教师 文本编码器 学生 保留特征 网络 预训练模型 重构模块 标记 时序特征 注意力机制 事件流 图像
系统为您推荐了相关专利信息
1
具有延时功能的一键开关机控制系统
一键开关机 延时芯片 延时功能 控制回路 降压转换器
2
利用图像生成视频的方法、装置、设备、介质
视频生成模型 网络模块 噪声信息 适配器 图像
3
一种基于多模态融合的智能语言学习方法
语言学习内容 智能语言学习方法 模态特征 梅尔频率倒谱系数 短时傅里叶变换
4
一种多模态结合大语言模型的图像视频报警监控系统及方法、计算机设备和存储介质
视频报警监控系统 大语言模型 多模态 对齐模块 数据
5
一种多模态大语言模型的跨模态对齐方法及装置
大语言模型 细粒度特征 文本 对齐方法 多模态
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号