摘要
本发明涉及多模态视觉跟踪技术领域,公开了用于RGB‑T目标追踪的模态共享信息分层解缠融合网络,包括:双流特征提取模块,其采用参数共享的ResNet‑50网络,用于分别提取RGB图像和热红外图像的特征;跨模态注意力模块,其连接所述双流特征提取模块,通过双向注意力机制实现RGB与热模态的特征交互增强;分层解缠挖掘模块,其连接所述跨模态注意力模块,通过多级残差计算挖掘模态间深层互补信息。通过引入轻量注意力机制与模态对齐策略,逐层挖掘模态间的互补信息并实现动态融合,显著提升了模态残差信息的利用效率,增强了系统在复杂环境下的稳定性与鲁棒性。
技术关键词
双向注意力机制
特征提取模块
跨模态
分层
互补特征
Softmax函数
视觉跟踪技术
多模态特征融合
网络
动态权重分配
输出特征
RGB特征
全局平均池化
多层感知器
残差信息
线性单元
系统为您推荐了相关专利信息
新能源电网
新能源并网系统
故障特征
XGBoost算法
控制策略
病害路面
路面病害图像
病害特征
图像分类模型
分析方法
预测类别
网格
图像识别模型训练
物体
多尺度特征
流速检测方法
水面
特征提取网络
金字塔
上下文特征
层级
分层特征提取
语义分割方法
训练分类器
网络