摘要
本发明公开了一种基于目标先验自回归查询的RGBL跟踪方法,包括收集并对齐RGBL数据集,构建训练集和测试集;以自回归查询的RGB跟踪网络AQATrack为基础,构建基于目标先验自回归查询的RGBL跟踪模型;通过引入语言和视觉语义令牌,学习各模态的目标特征;设计语言语义令牌增强模块以强化语言语义令牌的目标特征,并设计目标特征提取模块和视觉语义令牌特征增强模块,提升视觉语义令牌的目标特征;在解码器中融合语言和视觉语义令牌特征,输出多模态语义令牌特征,并将其作为目标先验,用于初始化值为零的查询,以自回归学习方式捕获时空信息。本发明通过引入目标先验,在初始阶段能够更有效地捕捉时空信息中的目标特征,从而加快跟踪器的目标定位与跟踪过程。
技术关键词
令牌
语义
跟踪方法
视觉特征
特征提取模块
文本编码器
融合空间信息
注意力机制
解码器
度函数
前馈神经网络
多模态特征
索引
基线
系统为您推荐了相关专利信息
抗干扰通信方法
唇语识别
视频流
时空卷积神经网络
语音特征
图像检索模型
内存模块
嵌入特征
图像检索方法
存储计算机程序