一种多模态融合的无人机遥感图像目标检测方法及其系统

本发明公开了一种多模态融合的无人机遥感图像目标检测方法及其系统，旨在提升低光照条件下的目标检测精度，并降低计算开销，特别适用于无人机遥感图像处理。该方法包括以下主要步骤：S1：对输入的遥感图像进行去噪、标准化和尺寸调整，确保图像质量和一致性，稳定后续处理步骤。S2：基于Retinex原理，通过双分支网络对低光照图像进行增强，提升图像的细节和对比度。S3：采用基于自注意力机制的Transformer模型，将增强后的RGB图像与红外图像进行特征交互融合，捕捉不同模态的互补信息，生成用于目标检测的融合特征。S4：采用基于FPN和PAN结构的多尺度检测头进行目标回归与分类，增强不同尺寸目标的检测精度。本发明通过多模态特征融合、自适应锚框生成与多尺度检测，有效提高了低光照和复杂环境下的目标检测精度，并且计算开销较低，适用于实时无人机遥感图像的目标检测任务。实验结果表明，该方法在VisDrone和LLVIP数据集上表现优秀，尤其在低光照条件下显著提升了目标检测精度。