一种基于文本提示更新的视觉-语言目标跟踪方法

本发明涉及一种基于文本提示更新的视觉‑语言目标跟踪方法。所述方法将一对来自视频流中的视觉图像和文字描述作为输入，通过构建特征提取网络和语言表征模型提取各个模态的特征，在此基础上构建两种不同架构的深度学习网络对视觉图像特征和语言文本特征进行融合，以充分挖掘多模态数据的可用信息。最后，每个候选目标映射的特征被送入预测头以获得预测分数，并将预测分数高的结果作为跟踪结果，并利用相似度决策模块判断是否对文本提示进行更新。本发明充分利用多模态信息提高跟踪算法的鲁棒性并充分考虑了文本信息的动态性。