基于Transformer的长短期记忆延迟感知多目标跟踪方法及系统

本发明公开了一种基于Transformer的长短期记忆延迟感知多目标跟踪方法及系统。本发明将并行自适应模块嵌入冻结参数的残差网络，并将其作为骨干网络；将KAN嵌入门控循环单元，利用门控循环单元的重置门控和更新门控对长期记忆向量进行选择性遗忘与更新，同时利用KAN的高可解释性和数据拟合能力融合长期记忆向量与当前帧的联合特征；引入的时间预测模块，利用相邻帧的联合特征以及长期记忆向量，有效的获取当前帧时刻的目标信息，并结合机载算力，预测目标在当前时刻的信息，使得模型有效的利用了视频流的长期信息，并更适合的应用于算力有限的在线跟踪任务中。该方法为解决跟踪器在严重遮挡和剧烈运动场景中出现目标身份交换而导致跟踪失效的问题提供了一种有效的解决方案。可降低目标ID交换概率，提高模型稳定性与健壮性，可应用于在线机载多目标跟踪任务。