基于跨模态图像重建与动态稀疏特征融合的目标检测方法

本发明公开了一种基于跨模态图像重建与动态稀疏特征融合的目标检测方法，包括：采集配准的可见光图像与红外图像；将可见光图像与红外图像输入基于Swin Transformer结构的编码器，提取多尺度模态特征，解码阶段基于梯度引导上采样机制进行图像重建，得到重建图像；将重建图像和红外图分别输入双主干路径并提取多尺度语义特征，然后构建动态稀疏融合模块DSF进行特征融合，得到融合特征；将融合特征输入检测头，引入跨模态特征对比损失使同一目标的可见光与红外特征在嵌入空间对齐。本发明使可见光图像在结构层次上得到增强，提高重建图对目标检测的适应性，通过端到端联合训练的方式实现检测性能的整体优化，显著提高了网络在低光照条件下的行人检测。