基于时序建模和提示微调的多模态目标跟踪方法及系统

本发明涉及一种基于时序建模和提示微调的多模态目标跟踪方法及系统，该方法包括：构建多模态目标跟踪网络模型，包括可见光分支、红外光分支及多模态时间提示器、跨模态帧内双适配器和边界框预测头，每个分支包括时空Transformer编码器和时间提示引导器；时空Transformer编码器用于特征提取，时间提示引导器用于向后续帧传递时间信息，多模态时间提示器用于增强主导模态的时间提示，跨模态帧内双适配器用于融合双分支的模态空间特征，边界框预测头用于预测跟踪结果；对模型进行训练，在训练过程中仅更新时间提示引导器、多模态时间提示器和跨模态帧内双适配器的参数；将训练好的模型应用于多模态目标跟踪。该方法及系统能够提高目标跟踪的准确性、鲁棒性和效率。