摘要
本发明公开了一种基于状态空间模型的单流RGB‑D目标跟踪方法,属于计算机视觉技术领域,将RGB模态图像和深度(Depth)模态图像数据以Token形式进行整合,通过Mamba单流主干网络进行特征提取与第一阶段融合,之后通过多模态Mix Mamba深层融合模块(3M模块)进行第二阶段融合,提升跨模态特征的表达能力和跟踪效率,再利用跟踪头输出预测结果。通过上述方式,本发明通过Token级融合、Mamba单流主干网络与创新的3M模块,成功解决了传统RGB‑D目标跟踪方法中存在的参数量大、融合低效及噪声放大等问题,显著提升了跟踪器的效率与鲁棒性。
技术关键词
状态空间模型
跟踪方法
分支
联合损失函数
序列
计算机存储介质
多模态
空间模块
线性
网络
计算机视觉技术
图像块
嵌入特征
模板
模态特征
跟踪系统
状态更新
融合特征
系统为您推荐了相关专利信息
负载调度方法
风速预测模型
风速时间序列预测
光伏发电功率
能源
建筑室内环境
热湿负荷
GRU模型
面部表情特征
数据真实值
长短期记忆网络
智能预测系统
XGBoost模型
时间序列特征
强化学习算法
问答知识库
自然语言文本
智能交互方法
答案
偏好特征
铁路隧道设备
故障预测方法
大语言模型
三元组
数据