基于多模态的双阶段细化绑定关系的车辆目标检测方法

本发明公开一种基于多模态的双阶段细化绑定关系的车辆目标检测方法。该方法采用RGB、灰度和红外图像的多模态输入，通过独立网络进行多尺度特征提取，并在不同模态的多尺度特征之间进行融合，构建多模态多尺度特征图。在第一阶段，进行检测目标与查询的初步绑定，通过查询与多模态多尺度特征图的交互确定采样点。基于该位置信息，从多模态多尺度特征图中采样特征，并将采样特征映射到查询的通道维度。接着，通过交叉注意力机制更新查询，并引入历史查询以增强当前查询的效果。在第二阶段，基于初步绑定关系进行得分计算，设定阈值，以区分稳定与不稳定的绑定关系。对于得分高于阈值的目标，加大权重以强化绑定；而得分低于阈值的目标，则通过重新匹配查询与目标，优化绑定关系。最终，预测头对经过强化和调整的查询进行解码，输出目标的类别与边界框。