基于混合专家微调的开放词汇目标检测方法及系统

本发明公开了一种基于混合专家微调的开放词汇目标检测方法及系统。本发明以Grounding DINO模型作为预训练模型，通过在原有的解码器中的前馈神经网络模块和特征强化模块中的交叉注意力模块中分别引入混合专家(MoE)模块，使得不同的专家组合可以处理不同的语义信息的token，从而增强网络的开放词汇检测能力。本发明首次将混合专家系统引入到Grounding DINO模型中，数据集上的实验结果表明本发明微调得到的模型的开放词汇检测能力得到了提升。同时，本发明方法也可以作为插件，加入到其他Transformer结构中，并且不会产生过多的推理开销。