摘要
本发明提供一种轻量化多模态目标跟踪方法,属于计算机视觉、目标跟踪领域。将多专家模型的结构设计思路、多模态特征空间调制模块、时序的提示词模块嵌入一个简洁统一的多模态目标跟踪模型框架中,并以性能优异的多模态跟踪模型作为教师模型进行蒸馏引导,实现高效且性能较好的多模态跟踪算法。本发明可以同时处理RGB‑红外、RGB‑深度、RGB‑事件数据的多模态跟踪任务,与现有的高性能多模态跟踪算法相比,能够以较小的性能损失在CPU设备和端侧设备上达到实时速度,实现较好的性能和速度的平衡。
技术关键词
编码特征
多层感知机
图像块
跟踪方法
多模态特征
注意力
编码模块
多模态跟踪算法
思路
算法模型
时序
训练算法
蒸馏
模板
代表
教师
计算机视觉
系统为您推荐了相关专利信息
辅助诊断系统
文本特征向量
图像特征向量
多模态
特征融合网络
数据补全方法
空间特征提取
卷积注意力网络
前馈神经网络
交通
智能识别方法
文本特征向量
短信
残差神经网络
风险评估模型
滤波器
状态更新
运动
无人机跟踪目标
容积信息滤波