一种基于双向Adapter的多模态与多无人机单目标跟踪方法

本发明公开一种基于双向Adapter的多模态与多无人机的单目标跟踪方法，包括：S1、通过双流编码器对每个模态/视角的输入信息进行处理；S2、每个编码器分支内的每一层都嵌入有双向Adapter模块，使用双向Adapter模块将任意模态的特征信息与来自前一层另一模态的特征信息进行融合，并传递状态空间模型SSM的隐状态至后续层以记录当前帧的模态的时序信息；S3、将双流编码器的输出进行时序特征融合，整合不同模态的输出送入预测头进行计算，得到目标的跟踪结果；S4、将每个模态的时序token以及隐状态作为下一帧的初始化参数，以传递目标跟踪轨迹的时序信息以及模态的时序信息；S5、基于上述双流编码器以及双向Adapter模块，实现多模态与多无人机对单目标的跟踪。