一种基于多模态相关性图对齐和多级交叉融合模型的指称多目标跟踪方法

一种基于多模态相关性图对齐和多级交叉融合模型的指称多目标跟踪方法，涉及计算机视觉技术。先对含视频帧序列、指称句子的训练数据采样并增强，提取视觉与文本特征；通过交叉注意力模块早期融合，经编码器处理后，利用语义注入机制初始化查询；在解码器中，自注意力与语义明晰增强器调节特征交互，对各层输出进行多级融合；采用余弦距离构建相关性图，筛选样本后进行三元组损失学习，建立区域级视觉与词语特征细粒度对应关系；最终经分支预测并优化。通过多模态相关性图对齐模型捕获精确关系，利用多级交叉融合模型增强语义理解，提升模型自适应学习能力。实验表明，在多项指标上显著提升，定位跟踪更准确、鲁棒性更强。