基于稀疏-稠密混合专家的参数高效多模态跟踪方法

基于稀疏‑稠密混合专家的参数高效多模态跟踪方法，属于深度学习技术领域，解决现有方法难以用统一的模型处理多种模态跟踪数据的问题，本发明将稀疏‑稠密混合专家模块作为模态特定适配器和多模态适配器嵌入到基于RGB的冻结跟踪网络中；SDMoE模块能够有效地对不同特定模态或融合模态的特定和共享信息进行建模，不需要大量的计算资源和参数存储；将SDMoE模块作为模态特定适配器和多模态适配器嵌入到各个模态特定分支和融合模态分支中，对不同特定模态和融合模态的特定和共享信息进行建模；本发明在显著扩大的模型容量情况下，未大幅增加计算工作量，有效地减轻多个并行专家过高计算和存储成本，克服少量共享专家难以充分利用模态之间共享特征的挑战。