摘要
本发明公开的基于边缘信息动态增强的可见光红外目标跟踪方法及系统,主要解决现有技术对目标结构信息利用不足和平等利用模态信息的问题。其方案包括:将多模态视频按时间截取为多帧图像,并将GTOT数据集作为训练集进行预处理;构建包括局部梯度边缘检测器、混合多专家动态选择单元、边缘适配器、骨干网络的跟踪模型,且骨干网络与串联连接的局部梯度边缘检测器、边缘适配器和混合多专家动态选择单元并行连接,用于提取多模态的图像特征;将预处理后的训练集输入到跟踪模型进行迭代训练;将测试集RGBT234输入到训练好的跟踪模型输出目标在视频每一帧中位置信息。本发明能高效利用目标的边缘信息增强整体网络对目标的表征能力,提高跟踪性能,可用于红外警戒、电力、医疗等。
技术关键词
边缘检测器
多模态
训练集
深度图
图像
适配器
可见光
跟踪方法
视频
多层感知机
网络模块
放缩方法
动态地
梯度下降法
路由器
跟踪系统